在这种情况下，甲公司可以向乙公司提出申请，要求乙公司为甲公司开具正式的租金发票。乙公司可以根据甲公司的申请，开具正规的租金发票，确认甲公司对乙公司的租金支付。在此之后，甲公司在申报税收时，可以把乙公司开具的租金发票作为税收减免的依据，从而减少税收所需要缴纳的金额。当然，乙公司也可以给予甲公司有关人民币账户、银行账号等相关信息，以便甲公司可以通过银行转账的方式对乙公司进行租金的支付。