劳务费个税计算中，应该由支付劳务费的单位或个人扣缴个人所得税。具体确定扣缴义务人的方式如下：
1. 若劳务人员与支付劳务费的单位或个人签订了劳务协议，协议中应明确扣缴义务人。
2. 若未签订劳务协议，应根据实际情况确定扣缴义务人。一般情况下，如果支付劳务费的单位或个人是税务登记纳税人，则应由其扣缴个人所得税；如果支付劳务费的单位或个人未进行税务登记，则应由劳务人员自行申报并缴纳个人所得税。

需要注意的是，扣缴义务人未按规定扣缴或者未及时足额缴纳个人所得税的，应当按照有关规定承担违法责任。