变更财务负责人需要履行以下程序和手续：
1. 公司内部程序：首先，公司应当按照公司章程或者公司规定的程序，召开董事会或者股东大会，进行决策，并记录在会议纪要中。
2. 公司备案：变更财务负责人需要向当地市场监督管理局备案，提供变更财务负责人的身份证明、职务任命文件、公司章程或规定等相关材料。
3. 银行手续：如果变更后的财务负责人需要进行银行业务操作，公司需要提供财务负责人的身份证明、职务任命文件、公司营业执照等材料，办理银行账户变更手续。
4. 税务手续：公司需要向税务部门报告财务负责人的变更情况，并更新公司纳税人信息。
5. 其他手续：根据公司实际情况，还可能需要履行其他相关手续，如向社保部门、公积金管理中心等机构报告变更情况等。

需要注意的是，变更财务负责人需要遵守相关法律法规和公司章程或规定，确保程序合法、规范。同时，公司应当及时更新公司内部管理制度和文件，确保公司财务管理的连续性和稳定性。