不可以，不去办税务登记会对新公司的业务带来不可预料的损失，可能会被公安部门罚款、处罚、以及结构成犯罪甚至被关闭。这就要求刚成立的公司必须要做税务登记。税务登记是税务机关按照法定程序对所有在本税务分局申报的纳税人的资料、证件的集中管理和登记的行为，也是一个注册企业的重要环节。通过做税务登记可以获得纳税人识别号和税收登记码，以及一系列发票，这是进行税收申报和交税的必要凭据，也是参加政策减税和扶持企业的重要凭证之一。通过做税务登记，各税种企业可以按照规定申报、缴纳税款、享受税收优惠政策，并受到税务机关的有效监管。此外，税务登记还有助于加强对成立公司的各种责任的监管，有利于企业的正常发展。 拓展知识：税务登记包括纳税人名册登记、增值税税种登记、消费税税种登记、营业税税种登记、所得税税种登记等。税务登记可以加强企业的税收规范化管理，有助于企业合规经营，建立企业自查能力，降低企业的税收风险，助力企业良性发展。