AI与科技 / 新展開
EmbeddingGemma 2、複数形式の情報を端末内で検索するためのモデル
Gorden Sunが紹介したEmbeddingGemma 2について、Google DeepMindのモデルカードを確認した。文章、コード、画像、動画、音声を共通のベクトル空間に変換する検索用モデルであり、回答を生成するチャットモデルではない。
全体は7億4000万パラメーター。用途に応じて一部だけを読み込め、テキスト部分は2億7000万。出力は768次元で、128、256、512次元に短縮できる。共有コンテキストの上限は8192トークンで、メディアもこの枠を使う。
Apache 2.0の公開重みモデルで、端末内での利用を想定する。クラウドAPIのGemini Embedding 2とは別物であり、ローカル実行にも適切な機器と索引処理が必要となる。
モデルカードはbf16かfp32を指定し、fp16ではNaNや品質低下が起こり得ると警告する。検索語と文書には異なるタスク接頭辞が必要で、短縮後は正規化し直す。実際の素材で検索精度を確かめる必要がある。
出典・参考資料
edited
確認済みのフォロー先から得た取材の手がかり:@Gorden_Sun。