AI与科技 / 更新と検証
300kの文脈とキャッシュ期間、初期設定のコスト判断
Tiboは10月10日の返信で、Codexの文脈を300kに設定したのはコストを計算した結果だと説明した。1Mでも動かせるが利用コストが高くなるという。製品の初期設定の説明であり、新しいモデル上限や性能試験の発表ではない。
別の質問にBoris Chernyは、APIのAgent SDK型の処理ではキャッシュ有効期間を1時間にすると平均費用が高いため5分を維持すると説明した。対話型の利用は多くの場合1時間のほうが安く、それを初期設定にする。必要に応じて変更もできる。
文脈は一度に扱う情報量、キャッシュ期間は計算結果を再利用できる時間に関わる。別々の仕組みだが、典型的な負荷を基に初期値を決める点は共通する。本紙は実際の請求額を独立検証していない。
出典・参考資料
編集済み
確認済みのフォロー先から得た取材の手がかり：@thsottiaux。