行贿但被退回是构成行贿罪，《行贿刑事案件具体应用法律的若干问题解释》如下：

第一条，为谋取不正当利益，向国家工作人员行贿，数额在一万元以上的，应当依照刑法第三百九十条的规定追究刑事责任。

第二条，因行贿谋取不正当利益，具有下列情形之一的，应当认定为刑法第三百九十条第一款规定的“情节严重”：

(一)行贿数额在二十万元以上不满一百万元的。

(二)行贿数额在十万元以上不满二十万元，并具有下列情形之一的：

1、向三人以上行贿的

2、将违法所得用于行贿的

3、实施违法犯罪活动，向负有食品、药品、安全生产、环境保护等监督管理职责的国家工作人员行贿，严重危害民生、侵犯公众生命财产安全的

4、向行政执法机关、司法机关的国家工作人员行贿，影响行政执法和司法公正的

(三)其他情节严重的情形。

第三条，因行贿谋取不正当利益，造成直接经济损失数额在一百万元以上的，应当认定为刑法第三百九十条第一款规定的“使国家利益遭受重大损失”。

第四条，因行贿谋取不正当利益，具有下列情形之一的，应当认定为刑法第三百九十条第一款规定的“情节特别严重”：

(一)行贿数额在一百万元以上的。

(二)行贿数额在五十万元以上不满一百万元，并具有下列情形之一的：

1、向三人以上行贿的；

2、将违法所得用于行贿的；

3、为实施违法犯罪活动，向负有食品、药品、安全生产、环境保护等监督管理职责的国家工作人员行贿，严重危害民生、侵犯公众生命财产安全的；

4、向行政执法机关、司法机关的国家工作人员行贿，影响行政执法和司法公正的。

(三)造成直接经济损失数额在五百万元以上的。

一、其他情节特别严重的情形。

第五条，多次行贿未经处理的，按照累计行贿数额处罚。

第六条，行贿人谋取不正当利益的行为构成犯罪的，应当与行贿犯罪实行数罪并罚。

第七条，因行贿人在被追诉前主动交待行贿行为而破获相关受贿案件的，对行贿人不适用刑法第六十八条关于立功的规定，依照刑法第三百九十条第二款的规定，可以减轻或者免除处罚。

当代社会行贿行为，他并不看是否能够获得一些不法的利益，即使说行贿的钱财已经被他人退回了，只能够说明他人不会构成受贿罪，但是对于行贿的主体来说，依然是需要追究刑事责任的，这种刑事责任追究，包括有数额较大，情节较为严重等等。