不可以，对于每一家公司来说，进行税务登记是一项重要的义务，它不仅是衡量企业是否积极参与申报并缴纳税款的重要指标，还是监管企业依法生产经营和合法纳税的最佳保证。此外，税务登记还是企业进行融资、发展等活动所必须的必要条件，不进行登记就无法享受政府政策和税务优惠政策等。因此，任何企业都必须进行税务登记，以便按照法定程序进行申报和缴纳税款。