违法，可以拒绝交费。根据《中华人民共和国税收征收管理法》第二十一条，税务机关是发票的主管机关，负责发票印制、领购、开具、取得、保管、缴销的管理和监督。

单位、个人在购销商品、提供或者接受经营服务以及从事其他经营活动中，应当按照规定开具、使用、取得发票。

一、没有税号的单位不能开具增值税专用发票是吗

政府单位没有税号不能开票的。

开票相关规定：

1、在销售商品、提供服务以及从事其他经营活动对外收取款项时，应向付款方开具发票。特殊情况下，由付款方向收款方开具发票；

2、开具发票应当按照规定的时限、顺序、逐栏、全部联次一次性如实开具，并加盖单位发票专用章；

3．使用计算机开具发票，须经国税机关批准，并使用国税机关统一监制的机外发票，并要求开具后的存根联按顺序号装订成册；

4．发票限于领购的单位和个人在本市、县范围内使用，跨出市县范围的，应当使用经营地的发票；

5．开具发票单位和个人的税务登记内容发生变化时，应相应办理发票和发票领购簿的变更手续；注销税务登记前，应当缴销发票领购簿和发票；

6．所有单位和从事生产、经营的个人，在购买商品、接受服务，以及从事其他经营活动支付款项时，向收款方取得发票，不得要求变更品名和金额；

7．对不符合规定的发票，不得作为报销凭证，任何单位和个人有权拒收；

8．发票应在有效期内使用，过期应当作废。

因此政府单位没有税号不能开票的。

二、小餐馆不开发票违法吗

小餐馆不开发票属于违法行为。销售商品、提供服务以及从事其他经营活动的单位和个人，收款方应向付款方开具发票；店家拒绝出具消费凭证，属于应当开具而未开具发票行为，违反发票管理办法的规定，可向税务机关举报。由税务机关责令改正，可以处1万元以下的罚款；有违法所得的予以没收”的规定，责令改正，予以处罚。

三、为什么法人不能开发票

法人代表不能开发票是因为在税务机关注册的企业才能开具增值税发票。发票是指一切单位和个人在购销商品、提供或接受服务以及从事其他经营活动中，所开具和收取的业务凭证，是会计核算的原始依据，也是审计机关、税务机关执法检查的重要依据。收据才是收付款凭证，发票只能证明业务发生了，不能证明款项是否收付。