第三，排除非法证据是文明执法的必然要求。文明执法要求执法人员严格按照法定条件和程序办事，禁止超越职权或滥用职权。非法取证行为与文明执法的要求根本背离。由于我国当前执法人员整体素质不是太高，加之历史上“重实体、轻程序”等思想影响，刑讯逼供等非法取证行为都曾被认为是合法，更由于非法取证行为确有获取某项证据而揭示案情的实效，致使非法取证行为至今香火不断，虽然我国刑事诉讼法明确规定了严禁非法取证的原则，但司法实践中非法取证行为仍屡禁不止，这就使得我国当前文明执法的任务相当艰巨。如果确立非法证据的排除规则，就可以从根本上消除非法取证行为的诱因，从而促进文明执法。
第四，确立排除非法证据规则于法有据。我国是联合国《禁止酷刑和其他残忍、不人道或有辱人格的待遇或处罚公约》的参加国，该公约第15条规定：“每一缔约国应确保在任何诉讼程序中，不得援引任何业经确定系以酷刑取得的口供为依据，但这类口供可用作被控施用酷刑者有刑讯逼供的证据”，这一规定因我国加入该公约而具有国内法的效力，也是我国在诉讼中确立排除非法证据规则的依据[23]。
如前所述，对非法证据采取合理排除，反映了理想的诉讼追求与诉讼现实状况之间的矛盾，它虽然追求了刑事诉讼的绝对公正，但它是以牺牲实体正义即犯罪得不到应有的惩罚为代价的。绝对排除非法证据作为一种理想化的非法证据处理模式，必须有与之相适应的法制环境和条件为依托。鉴于我国当前社会治安不好的状况还没有根本转变，重大恶性案件继续上升，严重经济犯罪活动仍然猖獗，执法人员整体素质和执法水平不高的现状，如果在司法实践中绝对排除非法证据，将会削弱打击犯罪的力度。因此，根据我国的犯罪状况和司法水平，在对待非法证据效力的问题上，应坚持原则性与灵活性相统一，即坚持以排除非法证据为原则的同时，对排除规则作出必要限制，允许在一定范围内根据违法行为强度与指控犯罪的严重程度权衡利弊，决定取舍非法证据，以求得在打击犯罪与维护合法诉讼程序之间达成一种较为均衡的局面，使法律打击犯罪与保障权利的作用能够得到均衡发挥。
我国《刑事诉讼法》第43条规定的要义在于从正面意义强调收集证据的合法性和正当性，反对并禁止采用非法方法收集各种证据。这种对证据采集的禁止性规定，是一种对“未然”的非法方法收集证据的警示和预防，但对于“已然”的非法方法收集的证据如何处理，从现行法律规范来看，不属于法律范畴的问题，而属于政策性的问题，这就为学者和司法人员提供了自由判断和评价的空间，成为我国学术界和司法实务界最具有争议性的问题。当然，对非法证据的处理也有趋于一致的地方：采集证据方法的非法性导致证据的“虚假性”或“不真实性”，该非法证据应被排除在诉讼之外。因为这种非法证据的采用，既违反了实体正义之精神，又背离了程序正义的原则，排除非法不实证据是许多西方法制国家的证据规则中所确立的首要原则。因此，我国关于非法证据取舍争论的真正焦点集中于具有真实性的非法证据，能否因采集证据方法的非法性而排除这种证据。
在整个20世纪80年代，围绕这一问题的争论，实际上提出了三种不同的主张：第一种主张为“否定说”，即非法证据无论真实与否，均不具有证据效力，应一律加以排除。其理由在于，刑事诉讼法明确规定了严禁刑讯逼供和以威胁、引诱、期骗以及其他非法的方法收集证据。并推论出使用非法证据材料将会助长违法行为，后患无穷。第二种主张是“肯定说”，即认为凡是属于真实的证据材料，即使采用非法方法获取的，也应加以采用。因为我国刑事诉讼法强调实质真实原则，只要对发现实质真实有益的材料就应加以采用，而不因收集证据方法的非法性而影响证据的可采性。第三种主张为“折衷说”，主要有两种意见：一是将非法获得的口供与实物证据加以区别，前者应一律加以排除，后者不因采集证据的非法性而排除这种证据，只要查证属实就应采纳；二是非法证据原则排除，但应设若干例外情形。拆衷说的这些观点都强调根据具体案件中证据的不同属性和特点采取灵活的对策。