AI 與科技 / 使用條件背景
12GB 顯存跑125B,條件藏在內存與模型版本里
Gorden Sun 10月4日介紹 Strata:用顯卡、內存和固態硬盤協同運行 Qwen3.8-Flash-Next。原帖是此前未結材料,本輪補讀項目說明後作為使用條件背景,不能當作10月6日新發布。
125B 是參數規模,12GB 是最低顯存要求,二者之間靠分工銜接:常用專家留在GPU,全量壓縮專家放在內存,CPU也參與計算;磁盤承擔模型存儲和部分表數據。項目同時要求至少32GB系統內存、約80GB磁盤空間,並推薦SSD。
32GB內存對應的 Coder 版本移除約一半專家,項目提醒代碼以外和中日韓語言表現較弱;48GB對應更小壓縮文件,64GB可容納更廣泛的壓縮版本。它不是任何12GB顯卡電腦都能無條件運行同一個完整模型。
README 提醒首次載入可能花1至3分鐘,鎖定大量內存時電腦可能暫時反應不佳。項目公佈的吞吐測試還綁定GPU、CPU、內存、量化和引擎版本。本報未安裝測評,也不把跨版本速度差視為獨立對照。決定是否試用,先核對模型文件、系統內存和工作負載,比只看顯存標題更有用。
本輪說明固定在10月6日提交82f46a8c;它是晨間所讀版本,不能倒推為10月4日原帖發佈時的配置。
出處與繼續閱讀
主編加工 · 來源與限制見正文
取材線索來自已核對關注賬號:@Gorden_Sun。