AI 与科技 / 使用条件背景
12GB 显存跑125B,条件藏在内存与模型版本里
Gorden Sun 10月4日介绍 Strata:用显卡、内存和固态硬盘协同运行 Qwen3.8-Flash-Next。原帖是此前未结材料,本轮补读项目说明后作为使用条件背景,不能当作10月6日新发布。
125B 是参数规模,12GB 是最低显存要求,二者之间靠分工衔接:常用专家留在GPU,全量压缩专家放在内存,CPU也参与计算;磁盘承担模型存储和部分表数据。项目同时要求至少32GB系统内存、约80GB磁盘空间,并推荐SSD。
32GB内存对应的 Coder 版本移除约一半专家,项目提醒代码以外和中日韩语言表现较弱;48GB对应更小压缩文件,64GB可容纳更广泛的压缩版本。它不是任何12GB显卡电脑都能无条件运行同一个完整模型。
README 提醒首次载入可能花1至3分钟,锁定大量内存时电脑可能暂时反应不佳。项目公布的吞吐测试还绑定GPU、CPU、内存、量化和引擎版本。本报未安装测评,也不把跨版本速度差视为独立对照。决定是否试用,先核对模型文件、系统内存和工作负载,比只看显存标题更有用。
本轮说明固定在10月6日提交82f46a8c;它是晨间所读版本,不能倒推为10月4日原帖发布时的配置。
出处与继续阅读
主编加工 · 来源与限制见正文
取材线索来自已核对关注账号:@Gorden_Sun。