当单位地址变更时，是不能开发票的。地址变更涉及到主管税务机关的变更，在原主管税务局购买的发票剩余的应交回缴销，办理迁移到新的主管税务局，重新购买发票。至于开票系统中的地址，可凭税务机关开具的证明，由服务公司做修改。

按照《税务登记管理办法》第二十九条规定：纳税人因住所、经营地点变动，涉及改变税务登记机关的，应当在向工商行政管理机关或者其他机关申请办理变更、注销登记前，或者住所、经营地点变动前，持有关证件和资料，向原税务登记机关申报办理注销税务登记，并自注销税务登记之日起30日内向迁达地税务机关申报办理税务登记。