这就回到我们前面已经讨论过的问题上去了。司法裁判的目的不仅仅在于给出一个公正、正确的裁判结论，而且更在于在发生了激烈利益冲突，并都有着强烈胜诉欲望的当事人面前，明明白白地显示自己的公正性，使其对裁判的公正性不存一丝合理的怀疑。而对于其他社会观众，尤其是那些对案情不了解、对裁判者个人的道德品质不甚清楚的公众而言，司法裁判还必须让他们心服口服。而要做到这一切，裁判者本人必须与案件没有利益上的牵连或者其他利害关系。在这里，法官能否做到实质上的公平并不重要，关键在于能否做到表面上的公平，也就是外观上的正义（appearance of justice）。
美国学者贝勒斯曾将这种“外观上的正义”视为程序正义的一项独立要素。在他看来，裁判者的“偏私”足以对程序正义构成威胁。这种“偏私”一般有两种：实际的偏私和表面的偏私。这两种偏私都需要在法律程序的设计中予以避免。例如，裁判的案件不应涉及裁判者个人的利益，裁判者不得与争议双方进行单方面接触等，都有着避免裁判者发生表面上的偏私的意味。之所以要如此设计法律程序，是因为人们有时很难判断裁判者与案件的不正常关系是否会造成司法不公，也难以鉴别这些表面上的偏私究竟是否以及如何转化为实际的偏私。在此情况下，只有对一切偏私，无论是实际存在的还是在外观上显示出来的，都加以防止，才能使裁判者利用偏私进行枉法裁判的情况减少到最低限度。另一方面，裁判者的偏私，无论是实际存在的还是外观上存在的，都会削弱人们对于裁判者、裁判过程、裁判结论的信任，导致社会公众对法律程序甚至法律制度的不遵从，从而造成对法律制度的严重破坏。
分析到这里，我们就能够理解建立回避制度的真正意义了。一个人只要与案件有利害关系，或者案件中涉及到他本人或者他的亲属、朋友等的利益，就不再让他当人裁判者。即使这个人确实会大义灭亲、铁面无私甚至自我审判，也排除他做法官的资格。这既可以消除社会公众可能对他提出的猜疑、批评和责难，也可以使他本人摆脱那种尴尬的道德困境，还能够最大限度地减少因裁判者的偏私而发生司法不公的情况。何乐而不为！
显然，我们过去对于这一点理解得并不准确。1996年
刑事诉讼法重新修订之后，有关回避的理由仍然有“影响公正处理案件”的说法（第
28条）。实际上，能够成为回避理由的，不应该仅仅指那些足以影响案件公正处理的情况，而且更应包括那些足以使人在外观上对裁判者的公正性产生不信任感的现象。这些情况应当有很多，但现行诉讼法确立的只是以下几种：是本案的当事人或者是当事人的近亲属的；本人或者其近亲属与本案有利害关系的；担任过本案的证人、鉴定人、辩护人、诉讼代理人的。当然，审判人员、检察人员、侦查人员接受当事人及其委托人的“请客送礼”的，也在回避之列；在撤销原判、发回原审法院重新审判的案件中，原审法院要重新组成合议庭，原审合议庭成员也不得再参加案件的重新审判。
