X PAPER / 이번 호로 돌아가기Issue 008

AI与科技 / 새 소식

EmbeddingGemma 2, 기기 안에서 여러 형식의 자료를 검색한다

게시물 작성자:Gorden Sun · @Gorden_Sun
게시 시각:
정리·편집:

Gorden Sun이 공유한 EmbeddingGemma 2의 Google DeepMind 모델 카드를 확인했다. 텍스트·코드·이미지·영상·음성을 같은 벡터 공간으로 바꿔 검색에 쓰는 모델이며, 답변을 생성하는 챗봇은 아니다.

전체 모델은 7억4000만 매개변수다. 작업에 따라 일부 인코더만 불러올 수 있고, 텍스트 부분은 2억7000만이다. 출력은 768차원이며 128·256·512차원으로 줄일 수 있다. 공유 문맥 한도는 8192토큰으로, 미디어도 이 한도를 사용한다.

Apache 2.0 라이선스의 공개 가중치 모델로 로컬 기기 사용을 겨냥한다. 클라우드 API인 Gemini Embedding 2와 다르다. 로컬 실행에도 적절한 하드웨어와 색인 처리가 필요하다.

모델 카드는 bf16 또는 fp32를 지정하고 fp16에서는 NaN이나 품질 저하가 생길 수 있다고 경고한다. 질의와 문서에는 다른 작업 접두어가 필요하다. 벡터를 줄인 뒤 다시 정규화하고 실제 자료에서 검색 품질을 검증해야 한다.

출처·참고 자료

edited

확인된 팔로우 계정에서 얻은 취재 단서:@Gorden_Sun。