办公室装修费用应该计入固定资产账户中，具体可以按照以下步骤进行处理：
1. 根据装修合同或发票，确认装修费用的金额和付款方式。
2. 在固定资产账户中新建一个装修费用科目，并将装修费用的金额记录在该科目下。
3. 如果装修费用已经付款，则在银行账户中建立一个与装修费用科目相对应的科目，并将付款金额记录在该科目下。
4. 如果装修费用尚未付款，则在应付账款科目中建立一个与装修费用科目相对应的科目，并将待付款金额记录在该科目下。

需要注意的是，如果装修费用中包含了增值税，那么在计算固定资产账户中的装修费用时，应该将增值税部分单独计算，以便于后续的税务处理。