在当事人申请行政复议、提起行政诉讼的情况下可以向公安机关申请暂缓执行，以后是否要继续执行，取决于行政复议或者行政诉讼的结果，如果原行政处罚被撤销，自然不用再执行，如果没有撤销，维持了原处罚决定，就依然要对被处罚人进行处罚。

根据《治安管理处罚法》第107条之规定“被处罚人不服行政拘留处罚决定，申请行政复议、提起行政诉讼的，可以向公安机关提出暂缓执行行政拘留的申请。”

行政拘留暂缓执行后，如果正当出省、出境可以向有关机关申请，是否批准，由主管机关决定。

暂缓执行的法定事由：

(1)有下列情形之一的，经当事人或其他利害关系人申请并提供担保，人民法院可以决定暂缓执行：

1)执行措施或者执行程序违反法律规定的;

2)执行标的物存在权属争议的;

3)被执行人对申请执行人享有抵销权的;

4)经申请执行人同意。

(2)人民法院依职权决定暂缓执行的情形：

1)上级人民法院已经受理执行争议案件并正在处理的(该暂缓执行的决定应由上级法院作出);

2)人民法院发现据以执行的生效法律文书确有错误，并正在按照审判监督程序进行审查的，其间审监庭应当向本院的执行局发出暂缓执行建议书，执行局收到建议书后，应当办理暂缓相关执行措施的手续;

3)执行人员在执行本院判决、裁定、调解书和支付令发现确有错误的，应当提出书面意见，报请院长审查处理。在执行上级人民法院的判决、裁定、和调解书时，发现确有错误的，可提出书面意见，经院长批准，函请上级人民法院审查处理。在审查处理期间，执行局可以报经院长决定对执行标的暂缓采取处分性措施，并通知当事人;

4)委托执行中，案外人对执行标的提出异议的，受委托人民法院应当函告委托人民法院，由委托人民法院通知驳回或者作出中止执行的裁定。在此期间，暂缓执行。