离开公司时可以通知税务主管局所，要求原单位到税务办理变更手续，如果没有办理变更手续也不影响你到另一家公司使用，一般的税务部门还没有把会计人员信息实行联网管理，如果原单位发生了税务问题不会因为你没有办理变更就承担责任，是否承担责任是看发生税务问题期间的主管财务人员是谁，谁就应该承担责任。
