AI与科技 / 观察与核对
300k上下文与缓存时长,默认值背后的成本账
Tibo在10月10日回复中解释,Codex选择300k上下文是算过成本后的默认取舍;团队也能运行1M上下文,但使用成本会更高。这是对产品默认设置的说明,并非公布新的模型上限或性能测试。
Boris Cherny另答用户为何不统一使用一小时缓存有效期:API常见的Agent SDK负载下,一小时平均更贵,因此保留五分钟;交互使用则默认一小时,因为对多数人平均更便宜。他强调配置可以调整。
两人谈的是不同机制:上下文决定一次处理多少信息,缓存时长决定已有计算能复用多久。共同点是默认设置面向常见负载,不能把更大的数值直接等同于更好的体验。本稿未独立测算实际账单。
出处与继续阅读
主编加工
取材线索来自已核对关注账号:@thsottiaux。