不能不退赃只交罚金。罚款是刑罚的附加刑之一。赃物返还是处理违法所得的一种方式，不属于刑罚类型。对于赃物返还，犯罪分子违法所得的一切财产应当追缴或者责令退还；被害人的合法财产应当及时返还；犯罪所用的违禁品和财产应当没收。由此可见，赃物返还与罚款不是选择关系，法院判决罚款的同时，仍可以要求追缴或者返还违法所得。

缴纳罚金确有困难的罚金能否减免

缴纳罚金确有困难的，罚金能够减免。但必须是由于遭遇不能抗拒的灾祸等原因缴纳确实有困难的，经人民法院裁定，才可以延期缴纳、酌情减少或者免除罚金。对于不能全部缴纳罚金的，人民法院在任何时候发现被执行人有可以执行的财产，应当随时追缴。

《中华人民共和国刑法》第六十四条犯罪分子违法所得的一切财物，应当予以追缴或者责令退赔；对被害人的合法财产，应当及时返还；违禁品和供犯罪所用的本人财物，应当予以没收。没收的财物和罚金，一律上缴国库，不得挪用和自行处理。