AI與科技 / 觀察與核對
300k上下文與緩存時長,默認值背後的成本賬
Tibo在10月10日回覆中解釋,Codex選擇300k上下文是算過成本後的默認取捨;團隊也能運行1M上下文,但使用成本會更高。這是對產品默認設置的說明,並非公佈新的模型上限或性能測試。
Boris Cherny另答用戶為何不統一使用一小時緩存有效期:API常見的Agent SDK負載下,一小時平均更貴,因此保留五分鐘;交互使用則默認一小時,因為對多數人平均更便宜。他強調配置可以調整。
兩人談的是不同機制:上下文決定一次處理多少信息,緩存時長決定已有計算能複用多久。共同點是默認設置面向常見負載,不能把更大的數值直接等同於更好的體驗。本稿未獨立測算實際賬單。
出處與繼續閱讀
主編加工
取材線索來自已核對關注賬號:@thsottiaux。