依据我国《中华人民共和国刑事诉讼法》第一百一十五条之规定，公安机关在接到报案和控告之后，必须展开事实调查与取证工作。

若侦查中确认涉嫌违反诽谤罪行为的人员，公安机关享有依法采取措施的权利，包括实施强制性的人身限制或立即逮捕等适当手段，以保护公众的权益并维护社会治安的稳定发展。

据此，诽谤罪的确是由公安部门负责进行相关调查和处理工作的。

《中华人民共和国刑事诉讼法》第一百一十五条

公安机关对已经立案的刑事案件，应当进行侦查，收集、调取犯罪嫌疑人有罪或者无罪、罪轻或者罪重的证据材料。对现行犯或者重大嫌疑分子可以依法先行拘留，对符合逮捕条件的犯罪嫌疑人，应当依法逮捕。