X PAPER / 返回今日全報第006期

AI與科技 / 觀察與核對

300k上下文與緩存時長,默認值背後的成本賬

原帖作者:Tibo · @thsottiaux
原帖時間:
整理與編輯:

Tibo在10月10日回覆中解釋,Codex選擇300k上下文是算過成本後的默認取捨;團隊也能運行1M上下文,但使用成本會更高。這是對產品默認設置的說明,並非公佈新的模型上限或性能測試。

Boris Cherny另答用戶為何不統一使用一小時緩存有效期:API常見的Agent SDK負載下,一小時平均更貴,因此保留五分鐘;交互使用則默認一小時,因為對多數人平均更便宜。他強調配置可以調整。

兩人談的是不同機制:上下文決定一次處理多少信息,緩存時長決定已有計算能複用多久。共同點是默認設置面向常見負載,不能把更大的數值直接等同於更好的體驗。本稿未獨立測算實際賬單。

出處與繼續閱讀

主編加工

取材線索來自已核對關注賬號:@thsottiaux。