根据最高人民法院《关于审理人身损害赔偿案件适用法律若干问题的解释》第25条的规定：残疾赔偿金的计算，以劳动能力丧失为标准并适当考虑受害人的收入丧失的情况。简言之，残疾赔偿金的计算就是兼顾劳动能力与收入丧失的标准，根据受害人丧失劳动能力程度或者伤残等级，按照受诉法院所在地上一年度城镇居民人均可支配收入或者农村居民人均纯收入标准，自定残之日起按20年计算。但60周岁以上的，年龄每增加1岁减少1年，75周岁以上的，按5年计算。受害人因伤残但实际收入没有减少，或者伤残等级较轻但造成职业妨害严重影响其劳动就业的，可以对残疾赔偿金做相应的调整。

因此，根据司法解释的相关规定，只有残疾赔偿金与其对受害人收入的影响明显不对称时才能进行调整。在进行调整时，只有伤残等级较轻但造成职业妨害严重影响其劳动就业的，才可以做相应的调整残疾赔偿金。在通常情况下，出现以下3种情况才能对赔偿数额进行调整：

(1)伤残程度较轻，残疾赔偿金数额较小;

(2)受害人所受伤的器官功能障碍与受害人所从事职业密切相关的;

(3)受害人所受伤害造成残疾对受害人的职业造成严重影响，指受害人已经或者不可能从事所受伤害之前的职业。

只有在这三种情况下，才能对受害人的残疾赔偿金进行相应的调整，当然，在司法实践中，调整的幅度不宜过大，以免造成加害人与受害人之间利益的不平衡。