不需要退回去。红字发票是指供应商开具的发票数额与原发票数额不一致的发票，是向供应商退货或者金额有变动时使用的。比如，在供应商实际发出的货物比我们定购量低，我们需要补充付款时，供应商就需要开具红字发票，补充开具货款。由于红字发票和原发票数额不一致，因此我们只需要把红字发票收下，而不用把原发票退回去。另外，红字发票只能作为抵扣凭据，不能用于进项税额累计，也不能作为增值税报表的发票凭证。