退还行贿人的资金显然是需要判罚处理的，根据《中华人民共和国刑法》第三百八十五条的规定，受贿罪是国家工作人员利用职务上的便利，索取他人财物，或者非法收受他人财物，为他人谋取利益的行为。受贿罪侵犯了国家工作人员职务行为的廉洁性及公私财物所有权。处五年以下有期徒刑或者拘役；情节严重的，处五年以上十年以下有期徒刑；情节特别严重的，处十年以上有期徒刑。在民事审判活动中故意违背事实和法律作枉法裁判，情节严重的，处五年以下有期徒刑或者拘役；情节特别严重的，处五年以上十年以下有期徒刑。

一、受贿罪的表现形式

(1)行为人利用职务上的便利，向他人索取财物。索贿是受贿人以公开或暗示的方法，主动向行贿人索取贿赂，有的甚至是公然以要挟的方式，迫使当事人行贿。鉴于索贿情况突出，主观恶性更严重，情节更恶劣，社会危害性相对于贿赂更为严重。因此，本法明确规定，索贿的从重处罚。因被勒索给予国家工作人员以财物，没有获得不正当利益的，不是行贿。索取他人财物的不论是否为他人谋取利益，均可构成受贿罪。

(2)行为人利用职务上的便利，收受他人贿赂而为他人谋取利益的行为。贿赂，一般是行贿人以各种方式主动进行收买腐蚀，受贿人一般是被动接受他人财物或者是接受他人允诺给予财物，而为行贿人谋取利益。如果国家工作人员收受财物但事实上并没有为他人谋取利益的，则不成立受贿罪。同时认为，为他人谋取的利益是否已经实现，不影响受贿罪的成立。

受贿罪与行贿行为是相对应的，行贿人为了谋取非法利益，向受贿人行贿的行为就已经严重违反了我国法律规定，需要追究相关的刑事责任，但受贿人退还相关违法所得的行为是可以按照坦白或者自首的情节来认定的，可以减轻刑事责任。