X PAPER / 返回今日全報第008期

AI與科技 / 新進展

EmbeddingGemma 2把多種內容變成檢索向量,面向本地搜索

原帖作者:Gorden Sun · @Gorden_Sun
原帖時間:
整理與編輯:

Gorden Sun分享的EmbeddingGemma 2,已有Google DeepMind官方模型卡:它把文字、代碼、圖片、視頻和音頻映射到同一向量空間,方便按描述檢索內容;它不是生成回答的聊天模型。

完整模型共7.4億參數;按任務可只加載部分編碼器,其中文字部分為2.7億參數。默認輸出768維向量,可截短到128、256或512維以減少存儲;不同精度和任務需要實際驗證。共享上下文上限為8192個token,媒體輸入同樣佔用預算。

這是面向本地設備的開放權重模型,採用Apache 2.0許可證,不是雲端的Gemini Embedding 2接口。名稱相近不意味著部署方式相同,也不意味著本地運行沒有硬件成本。

模型卡要求使用bf16或fp32,警告fp16可能產生NaN或降低質量。檢索查詢與被搜索文檔需要不同任務前綴;向量截短後須重新歸一化。能否改善個人圖庫搜索,仍取決於索引、輸入處理和實際素材測試。

出處與繼續閱讀

edited

取材線索來自已核對關注賬號:@Gorden_Sun。