不可以。根据中华人民共和国税收法规定，若客户开具发票的金额大于5000元的，必须具有合同或协议，否则发票将被认定为无效发票。因此，如果客户不走对公转账，5千多，还要开专票，没有合同，则不可以。 同时，为了防止客户提供虚假发票给政府，逃税或犯罪，公司应该采取相应措施，以使政府能够进行全面管理和检查。例如，公司应完善内部管理体系，确保所有发票和所有合同有效可追溯；定期进行内部审计，检查财务记录，以确保完全有效；实施有效的税收风险管理，避免历史负债的发生，并以正确的方式支付费用；以及及时录入GST、合同、发票等文件，以确保与地方政府相关部门保持正确的联系。