一、暂缓执行行政拘留的保证金由谁收取

1、行政拘留暂缓执行行政拘留的保证金应当由银行代收。在银行非营业时间，公安机关可以先行收取，并在收到保证金后的三日内存入指定的银行账户。

2、法律依据：《公安机关办理行政案件程序规定》第二百三十一条

二、行政拘留程序违法如何撤销

1、公安机关做出的行政拘留决定属于行政处罚，该行政处罚是一种具体的行政行为，属于行政诉讼的受案范围。而且行政拘留应该具有合法性，该行政拘留应该符合《中华人民共和国行政处罚法》、《中华人民共和国治安管理处罚法》及《公安机关办理行政案件程序规定》等法律法规。如果该行政拘留从内容、程序以及适用法律方面出现错误，就应该被撤销。

2、行政处罚法第五十四条第二款有规定“公民、法人或者其他组织对行政机关作出的行政处罚，有权申诉或者检举;行政机关应当认真审查，发现行政处罚有错误的，应当主动改正”。

3、各省的行政执法程序规定基本也都明确规定，发现错误应主动改正。

4、实践中，执法部门发现自己处罚存在错误，通常做法是重新下发处罚决定书，同时注明撤销原处罚行为。如果发现相对人不构成处罚标准，直接出具撤销决定书，如果执行完毕，向财务部门申报退回款项。