要留在当地。在外地有分公司的公司，按照税务局的规定，需要执行属地管理，在分公司的驻地办理税务登记并申报纳税。
根据《中华人民共和国税收征收管理法》第15条、19条的规定，企业和企业在外地设立的分支机构属于从事生产经营的纳税人，按照法律、行政法规和国务院财政、税务主管部门的规定设置账簿。