X PAPER / 返回今日全报第002期 · 晨间候选稿English

AI 与科技 / 使用条件背景

12GB 显存跑125B,条件藏在内存与模型版本里

原帖作者:Gorden Sun · @Gorden_Sun
原帖时间:
整理与编辑:

Gorden Sun 10月4日介绍 Strata:用显卡、内存和固态硬盘协同运行 Qwen3.8-Flash-Next。原帖是此前未结材料,本轮补读项目说明后作为使用条件背景,不能当作10月6日新发布。

125B 是参数规模,12GB 是最低显存要求,二者之间靠分工衔接:常用专家留在GPU,全量压缩专家放在内存,CPU也参与计算;磁盘承担模型存储和部分表数据。项目同时要求至少32GB系统内存、约80GB磁盘空间,并推荐SSD。

32GB内存对应的 Coder 版本移除约一半专家,项目提醒代码以外和中日韩语言表现较弱;48GB对应更小压缩文件,64GB可容纳更广泛的压缩版本。它不是任何12GB显卡电脑都能无条件运行同一个完整模型。

README 提醒首次载入可能花1至3分钟,锁定大量内存时电脑可能暂时反应不佳。项目公布的吞吐测试还绑定GPU、CPU、内存、量化和引擎版本。本报未安装测评,也不把跨版本速度差视为独立对照。决定是否试用,先核对模型文件、系统内存和工作负载,比只看显存标题更有用。

本轮说明固定在10月6日提交82f46a8c;它是晨间所读版本,不能倒推为10月4日原帖发布时的配置。

出处与继续阅读

主编加工 · 来源与限制见正文

取材线索来自已核对关注账号:@Gorden_Sun。