X PAPER / 返回今日全報第002期 · 晨間候選稿

AI 與科技 / 使用條件背景

12GB 顯存跑125B,條件藏在內存與模型版本里

原帖作者:Gorden Sun · @Gorden_Sun
原帖時間:
整理與編輯:

Gorden Sun 10月4日介紹 Strata:用顯卡、內存和固態硬盤協同運行 Qwen3.8-Flash-Next。原帖是此前未結材料,本輪補讀項目說明後作為使用條件背景,不能當作10月6日新發布。

125B 是參數規模,12GB 是最低顯存要求,二者之間靠分工銜接:常用專家留在GPU,全量壓縮專家放在內存,CPU也參與計算;磁盤承擔模型存儲和部分表數據。項目同時要求至少32GB系統內存、約80GB磁盤空間,並推薦SSD。

32GB內存對應的 Coder 版本移除約一半專家,項目提醒代碼以外和中日韓語言表現較弱;48GB對應更小壓縮文件,64GB可容納更廣泛的壓縮版本。它不是任何12GB顯卡電腦都能無條件運行同一個完整模型。

README 提醒首次載入可能花1至3分鐘,鎖定大量內存時電腦可能暫時反應不佳。項目公佈的吞吐測試還綁定GPU、CPU、內存、量化和引擎版本。本報未安裝測評,也不把跨版本速度差視為獨立對照。決定是否試用,先核對模型文件、系統內存和工作負載,比只看顯存標題更有用。

本輪說明固定在10月6日提交82f46a8c;它是晨間所讀版本,不能倒推為10月4日原帖發佈時的配置。

出處與繼續閱讀

主編加工 · 來源與限制見正文

取材線索來自已核對關注賬號:@Gorden_Sun。