是的，用人单位的临时工和劳务派遣工作人员都应该计算在用人单位的总人数里面。因为临时工和劳务派遣工作人员同样是该单位的职工，受用人单位的管理，受用人单位的支付，有同样的劳动保护，因此他们也应该被视为该单位的职工。拓展知识： 根据《中华人民共和国劳动合同法》，劳动派遣工作人员和用工单位之间存在着劳动合同关系，劳务派遣工作人员有权享受用工单位提供的基本待遇，如社会保险等。