确实，新成立的公司在完成税务登记以及在银行开立基本户后，对方可以给该公司开具正规发票。首先公司必须将税务登记表和資料提交给有关税务机关审核，审核通过后才能得到一份税号给开具发票；而银行账号则是用来存钱，收款等，就算开设基本户也不能开发票；要开具正规发票，还需要在税务机关登记经营和开票信息，确认后方可开具正规发票。 拓展知识：发票是一种税务凭证，可以凭发票来进行缴纳税款，只有经过以上正规程序办理完成，才能保证发票的正规性，以及为后续的报税和审核提供可靠的业务资料凭证。