在公司办公楼装修的会计分录中，直接费用是指与装修直接相关的费用，例如装修材料、工人工资、机器设备租赁费等。这些费用可以直接归入装修工程的成本中，因为它们是直接用于装修的。因此，这些费用应该计入装修工程的直接材料、直接人工和直接费用科目中。

间接费用是指与装修间接相关的费用，例如水电费、房屋租赁费、管理人员工资等。这些费用不是直接用于装修工程的，但是它们是公司正常运营所必需的费用。因此，这些费用应该计入装修工程的间接费用科目中。

具体的会计分录如下：
1. 记录直接费用
借：装修工程直接材料/直接人工/直接费用账户（根据具体情况选择）
贷：银行账户/应付账款账户
2. 记录间接费用

借：装修工程间接费用账户

贷：银行账户/应付账款账户

需要注意的是，装修工程的直接和间接费用应该分别计算和核算，以便更好地掌握装修工程的成本和费用结构。