根据法律规定，承租人存在以下情形之一的，应当退回公共租赁住房：

1、转借、转租或者擅自调换所承租公共租赁住房的。

2、改变所承租公共租赁住房用途的。

3、破坏或者擅自装修所承租公共租赁住房，拒不恢复原状的。

4、在公共租赁住房内从事违法活动的。

5、无正当理由连续6个月以上闲置公共租赁住房的。

6、承租人累计6个月以上拖欠租金的。

一、承租人有什么行为应当退还公共租赁住房

承租人有下列行为应当退回公共租赁住房：租赁期内承租或者承购其他保障性住房的；闲置6个月以上的；房内从事违法活动的；转租或擅自调换的；破坏或擅自装修住房拒不恢复原状的；改变住房用途的；不符合续租条件的。

二、什么情形出租人可收回房屋

出租人可收回房屋的情形：

1、擅自转租承租房屋；

2、擅自转让租赁房屋，转借给人或者转让使用的；

3、擅自拆除或改变租赁房屋的结构或用途的；

4、拖欠租金累计6个月以上的；

5、利用租赁房屋进行违法活动的；

6、公有住房无正当理由闲置6个月以上；

7、故意破坏租赁房屋。