首先，要正确把握法律，法规，规章授予自由裁量权的目的，严格按照法律意图执法，就是更好地实现国家利益和保障行政管理相对人的合法权益。其次，要遵循比例原则，也就是过罚相当原则。这是保障自由裁量权正当行使的最基本的原则。再次，在处罚中要平等对待管理相对人，不偏私，不歧视，不因当事人身份，地位的不同而给予不同对待。在处罚过程中，重要的是以事实为根据，以法律为准绳，严格执法，一律平等。最后，行政机关实施处罚行为要前后一致，具有连续性，稳定性。要达到以上效果，还应有相应的制度和措施作为保障：

(1)倡导并逐步推行自由裁量运用实施制度。我国现行的法律、行政法规数量很多，有的法律法规的罚则条文“弹性”空间很大，实际执法“可操作性”较差。因此，各部门应针对行政执法中容易碰到的自由裁量权运用问题，制订和推行自由裁量运用实施制度，内容可以先粗犷后完善，工作可以先试点后推行，并实行政务公开，作为指导和规范行政执法人员的自由裁量行为。

(2)实行稽查办案分离和法制机构审查把关制度。为控制自由裁量权的滥用，行政执法机关应该实行稽查、办案相对分离的运行机制，并强调稽查、办案机构说明作出具体行政行为的理由，以便确定其行政行为是否符合法律、法规授予这种权力的目的。同时，应根据《行政处罚程序》第十四条规定，将调查终结报告连同案件材料，送法制工作机构进行审查把关。要充分发挥案件审理委员会的作用，对重大、复杂的案件，必须坚持集体讨论、集体决定，绝不能搞一人说了算，确保行政行为的公正性，防止滥用自由裁量权和自由裁量权行使显失公正。

(3)健全行政执法责任制与执法责任追究制度。从前几年的实践看，行政执法责任制在推进部门严格执法，规范执法行为等方面，都发挥了重要的作用。各部门应该遵照国务院办公厅《关于推行行政执法责任制的若干意见》的要求，科学设定执法岗位，明确执法职责，规范执法程序，特别是要建立公开、公平、公正的行政执法评议考核制度、行政执法定期督促检查制度、执法过错责任追究制度，加强对执法行为的监督、检查和考核。既要查处滥用自由裁量乱作为的行为，也要查处其违法不作为的行为。要根据滥用自由裁量权造成的后果和影响的情节轻重，给予相应的行政处理，构成犯罪的依法追究刑事责任。

(4)加强行政执法队伍建设，提高执法水平。依法行政，队伍素质尤为重要。一方面要通过经常性的法律法规和专业知识的学习和培训，有针对性地组织开展贴近实际、贴近实战的案卷评查、专题讲座、问题研讨、模拟办案、以案说法活动，切实提高行政执法人员依法行政的能力。另一方面要加强责任和纪律教育，引导执法人员树立正确的权力观，明确权力是法律赋予的，必须按照法定程序履行职责、行使权力，努力培养一支政治可靠、业务精通、作风正派的执法队伍和法制工作队伍，以适应全面推进依法行政的工作需要。