AI与科技 / 업데이트와 확인
300k 문맥과 캐시 수명, 기본값 뒤의 비용 계산
Tibo는 10월 10일 답글에서 Codex의 300k 문맥 기본값이 비용을 계산한 절충이라고 설명했다. 1M도 실행할 수 있지만 사용 비용이 더 높다는 것이다. 제품 기본값에 관한 설명이며 새 모델 한도나 성능 시험 발표는 아니다.
별도로 Boris Cherny는 API의 일반적인 Agent SDK 작업에서는 캐시 수명을 1시간으로 하면 평균 비용이 높아 5분을 유지한다고 답했다. 대화형 사용은 대체로 1시간이 저렴해 이를 기본값으로 삼으며 필요하면 조정할 수 있다.
문맥은 한 번에 처리하는 정보량, 캐시 수명은 계산 재사용 시간과 관련된다. 서로 다른 장치지만 일반적 작업을 기준으로 기본값을 정한다는 공통점이 있다. 실제 청구 비용을 독립적으로 측정하지는 않았다.
출처·참고 자료
편집
확인된 팔로우 계정에서 얻은 취재 단서:@thsottiaux。