X PAPER / 返回今日全报第008期

AI与科技 / 新进展

EmbeddingGemma 2把多种内容变成检索向量,面向本地搜索

原帖作者:Gorden Sun · @Gorden_Sun
原帖时间:
整理与编辑:

Gorden Sun分享的EmbeddingGemma 2,已有Google DeepMind官方模型卡:它把文字、代码、图片、视频和音频映射到同一向量空间,方便按描述检索内容;它不是生成回答的聊天模型。

完整模型共7.4亿参数;按任务可只加载部分编码器,其中文字部分为2.7亿参数。默认输出768维向量,可截短到128、256或512维以减少存储;不同精度和任务需要实际验证。共享上下文上限为8192个token,媒体输入同样占用预算。

这是面向本地设备的开放权重模型,采用Apache 2.0许可证,不是云端的Gemini Embedding 2接口。名称相近不意味着部署方式相同,也不意味着本地运行没有硬件成本。

模型卡要求使用bf16或fp32,警告fp16可能产生NaN或降低质量。检索查询与被搜索文档需要不同任务前缀;向量截短后须重新归一化。能否改善个人图库搜索,仍取决于索引、输入处理和实际素材测试。

出处与继续阅读

edited

取材线索来自已核对关注账号:@Gorden_Sun。