如果丢失或作废的发票是增值税专用发票，那么将有相应的处罚。根据《增值税暂行条例》第六十三条的规定，丢失或作废增值税专用发票的，根据当地税务机关的规定对其对应的应税行为的纳税人进行处罚；如果丢失的发票是货物运输业增值税专用发票，那么根据《货物运输业增值税暂行条例》第五十七条的规定，丢失或作废货物运输业增值税专用发票的，根据当地税务机关的规定对其对应的应税行为的纳税人进行处罚。 另外，丢失发票的纳税人还有可能面临刑事责任。根据《中华人民共和国刑法》第一百六十九条第一款的规定，拒不正当缴纳税款、逃避纳税、骗取减免税款的，处五年以下有期徒刑或者拘役；情节特别严重的，处五年以上有期徒刑。 而丢失作废发票的具体处罚规定，也要根据纳税人具体失信行为的情形而定，一般情况下，丢失发票会被罚款，并补缴相应的发票税款。 综上所述，丢失作废发票的处罚，应该根据纳税人的具体情况，由当地税务机关根据规定，进行惩处。此外，纳税人还有可能被追究刑事责任，所以应加强发票的安全管理，以避免出现这种情况。