X PAPER / 返回今日全報第002期 · 晨間候選稿

AI 與科技 / 分析方法

訂閱“值幾倍”,先問 token 是怎樣用的

原帖作者:Dylan Patel · @dylan522p
原帖時間:
整理與編輯:

Dylan Patel 引用 SemiAnalysis 的訂閱額度分析。公開正文介紹了怎樣從用量表估計限額:把套餐、模型和token類型拆開,再以API標價換算可用額度的等價價值。它衡量的是一種成本口徑,不是任務質量、現金餘額或退款金額。

團隊分開測試新輸入、緩存寫入、緩存讀取和輸出。長文本加隨機標記用於避免命中同一個緩存;固定文本重複調用觀察緩存讀取,長篇輸出用於估計輸出成本。用量表通常按臺階變化,測試捨去開頭結尾不完整臺階,扣除其他token的估計成本,積累多個完整臺階。

五小時限額、周限額和特定模型限額也要分別處理。團隊用自己9月的代理工作負載混合比例作換算:緩存多或長輸出多的用戶可能得到不同排序。API降價即使不改變訂閱可用token,也會降低同一額度的API等價價值。

文章所說約五倍價值綁定具體模型和負載,不能擴大成所有用戶都能多完成五倍工作。其公開部分還報告同一套餐賬戶間出現約20%的差異,並稱供應商承認小範圍測試;這不是所有賬戶的固定差別。最後的第三方完整比較需要付費,本報尚未讀到,也沒有重做測試,本稿只呈現公開方法與可判斷的條件。

出處與繼續閱讀

主編加工 · 來源與限制見正文

取材線索來自已核對關注賬號:@dylan522p。