在公司办公楼装修的会计分录中，可以将以下费用作为固定资产进行资本化：
1. 直接与装修工程相关的费用，如建筑材料、人工费、机械设备租赁费等。
2. 设计费用、监理费用、验收费用等与装修工程直接相关的管理费用。
3. 安装、调试、试运行等直接与装修工程相关的费用。
4. 与装修工程直接相关的间接费用，如办公楼租金、电费、水费等。

需要注意的是，只有符合以下条件的费用才能够资本化：
1. 费用是直接与装修工程相关的，且可以明确归属于特定的固定资产。
2. 费用是可以量化的，且金额较大。
3. 费用是可以预期的，即在装修工程开始前就已经确定。

如果费用不符合上述条件，则不能作为固定资产进行资本化。