根据《中华人民共和国增值税暂行条例》第七十八条规定：发票和财务资料发生变更或者错误，发票领用人应当在发票上注明变更情况或者错误情况，经发票销售方单位审核后据实开具红字发票。因此，公司在要求对方退回原发票所有联次时，只要让对方按照法定规定核实变更或者错误情况后开具红字发票即可，无需要求回原发票所有联次。同时，《中华人民共和国增值税暂行条例》规定，红字发票持有人应当采取遗失发票的处理措施，进行注销登记，保证红字发票的安全使用。因此，作为发票领用人，公司应对对方开具的红字发票负责，以保证发票安全使用，避免重复抵扣发生。