一装修公司于去年11月跟一建筑总包签了一份工程分包合同，合同说明在进场7天后开发票收工程预付款，但到今年4月总包公司也没付款，后来经过双方协商，双方解除合同，分包公司在4月份开具冲红发票，但分包公司在去年11月开票当月也支付了预付款给劳务公司，费用已于去年11月记入工程成本，发票进项税还没抵扣，跟劳务公司协商，劳务公司不同意退回发票，请问不退回发票会有什么影响及其他问题？