是的，可以不用给专票供应商抵扣联和发票联。因为专票是一种专用发票，根据《中华人民共和国发票管理条例》第二十五条的规定，发票的抵扣联和发票联只针对“增值税普通发票”，而不适用于专票，因此开票方不用把抵扣联和发票联给专票供应商。同时，为了保证发票准确性，开票方应当填写红字信息表，而不是抵扣联和发票联作为发票使用凭证。红字信息表应当真实、准确、完整地记载发票金额、开票人和收款人等信息，以作为发票对账等用途。