承租人在下列情况下应当退回公共租赁住房：租赁期内承租或者承购其他保障性住房的；闲置6个月以上的；房内从事违法活动的；转租或擅自调换的；破坏或擅自装修住房拒不恢复原状的；改变住房用途的；不符合续租条件的。

什么是承租人使用租赁物义务

承租人按约定使用租赁物是承租人的一项义务。承租人租赁该物并占有它的目的就是使用它。使用租赁物是承租人在租赁合同中的一项基本权利，但由于承租人对租赁物只是获得使用权和收益权，而并没有所有权，最终还是要将租赁物返还给出租人的，这样承租人就有一个保证租赁物自始至终符合其本身的品质和效用。同时任何物都是经过使用有正常消耗的，不断折旧，最后丧失其价值。只是不同的物使用方法的不同其折旧率也不同，因此，承租人使用租赁物应当按照约定的方法使用。各国民法对承租人的该项义务都有所规定。

承租人应依照租赁契约规定的目的使用租赁物；在契约无规定时，依照当时情况所推定的目的使用之；如承租人使用租赁物于非约定的目的，或者使用的方法可能对于出租人发生损害时，出租人得斟酌情形，请求解除契约。我国台湾地区“民法”规定，承租人应依约定方法为租赁物之使用、收益，无约定方法者，应以依租赁物之性质而定之方法为之。承租人违反前项规定为租赁物之使用、收益，经出租人阻止而继续为之者，出租人得终止契约。

《公共租赁住房管理办法》第二十七条

承租人有下列行为之一的，应当退回公共租赁住房：

（一）转借、转租或者擅自调换所承租公共租赁住房的；

（二）改变所承租公共租赁住房用途的；

（三）破坏或者擅自装修所承租公共租赁住房，拒不恢复原状的；

（四）在公共租赁住房内从事违法活动的；

（五）无正当理由连续6个月以上闲置公共租赁住房的。

承租人拒不退回公共租赁住房的，市、县级人民政府住房保障主管部门应当责令其限期退回；逾期不退回的，市、县级人民政府住房保障主管部门可以依法申请人民法院强制执行。