根据《特殊标志管理条例》的规定，特殊标志所有人或者使用人违法使用特殊标志的应当承担相应的行政责任。

具体而言，特殊标志所有人或者使用人有下列行为之一的，由其所在地或者行为发生地县级以上人民政府工商行政管理部门责令改正，可以处5万元以下的罚款;情节严重的，由县级以上人民政府工商行政管理部门责令使用人停止使用该特殊标志，由国务院工商行政管理部门撤销所有人的特殊标志登记：

(一)擅自改变特殊标志文字、图形的;

(二)许可他人使用特殊标志，未签订使用合同，或者使用人在规定期限内未报国务院工商行政管理部门备案或者未报所在地县级以上人民政府工商行政管理机关存查的;

(三)超出核准登记的商品或者服务范围使用的。