被告人或者他们的亲属凭“解除取保候审通知书”直接到银行领取退还的保证金，不必在找公安机关。凭“有关法律文书”也可以到银行领取退还的保证金。“有关法律文书”是指能够证明案件已经结束的法律文书。包括人民检察院的《不起诉决定书》、人民法院的《判决书》、《裁定书》。实践中，一般退还取保候审保证金都是在变更或者解除取保候审措施的时候进行的，而通常情况下也是全数进行退还。当然，如果被取保候审人在取保期间违反了相关法律规定的话，则此时就有可能被扣除一部分保证金。

取保候审保证金退还流程

根据相关的法律规定和司法解释，取保候审保证金的退换程序如下：

1、犯罪嫌疑人在取保候审期间，没有违反刑事诉讼法第五十六条的规定或者具有刑事诉讼法第十五条的规定的情形之一的，在解除取保候审的同时，公安机关应当将保证金如数退还给犯罪嫌疑人。

2、决定退还保证金的，应当经过严格审核后，报县以上公安机关负责人批准，签发《退还保证金决定书》。

3、公安机关决定退还犯罪嫌疑人的保证金后，应当在解除对犯罪嫌疑人取保候审的同时，通知指定的银行将保证金如数退还给犯罪嫌疑人，并责令犯罪嫌疑人在《退还保证金决定书》上签字或者盖章。

《中华人民共和国刑事诉讼法》第七十三条

犯罪嫌疑人、被告人在取保候审期间未违反本法第七十一条规定的，取保候审结束的时候，凭解除取保候审的通知或者有关法律文书到银行领取退还的保证金。