小额贷款公司收取的客户利息不能给对方开具增值税专用发票，因为根据税务总局的规定，增值税发票是针对实体和个人之间的商品买卖或服务收费向实体和个人开具的，而小额贷款公司收取的客户利息不属于商品买卖或服务收费，所以不能给对方开具增值税专用发票。 此外，小额贷款公司信贷费收取对象为个人，应当以收费凭证的形式出具收费凭证，其中应当包括收费人、收费单位、费用和收费日期等内容，另外还应包括数额大小和收费方式。收费凭证是所收费用的证明，作为收款的有效凭据，可以与税务机关的税务登记相结合，以保证小额贷款公司收取的费用不被滥用。