X PAPER / 今号へ戻るIssue 008

AI与科技 / 新展開

EmbeddingGemma 2、複数形式の情報を端末内で検索するためのモデル

投稿者:Gorden Sun · @Gorden_Sun
投稿日時:
編集:

Gorden Sunが紹介したEmbeddingGemma 2について、Google DeepMindのモデルカードを確認した。文章、コード、画像、動画、音声を共通のベクトル空間に変換する検索用モデルであり、回答を生成するチャットモデルではない。

全体は7億4000万パラメーター。用途に応じて一部だけを読み込め、テキスト部分は2億7000万。出力は768次元で、128、256、512次元に短縮できる。共有コンテキストの上限は8192トークンで、メディアもこの枠を使う。

Apache 2.0の公開重みモデルで、端末内での利用を想定する。クラウドAPIのGemini Embedding 2とは別物であり、ローカル実行にも適切な機器と索引処理が必要となる。

モデルカードはbf16かfp32を指定し、fp16ではNaNや品質低下が起こり得ると警告する。検索語と文書には異なるタスク接頭辞が必要で、短縮後は正規化し直す。実際の素材で検索精度を確かめる必要がある。

出典・参考資料

edited

確認済みのフォロー先から得た取材の手がかり:@Gorden_Sun。