是的，税务部门可以查询上游公司开给你们公司的发票记录。根据《中华人民共和国企业收入税法》的规定，企业必须保留有效的发票资料，这些资料应包括经批准付款的发票，发票应包括收付发票、特殊发票（如货物运输业增值税专用发票，货物销售统一发票等）等。因此，税务部门至少可以查询到5年之内的发票记录，也可以查询和存档更多年份的发票记录。 另外，税务部门可以在开票时进行实时监管，监控上游公司是否符合发票实名制的要求，或者防止出现偷税漏税等行为。此外，税务部门还可以实施统一编码制度，以便更好地监管发票信息，防止虚假开票行为。