新聞

Google推出EmbeddingGemma 2多模態嵌入模型,以740M參數處理文字、程式碼、圖片、影片與音訊,並可直接部署在手機、筆電等裝置。開發者可用文字搜尋圖片或影片片段,也能拿一段音訊尋找內容相近的影音,相關資料不必上傳雲端處理。

嵌入模型的作用,是把文字、圖片或聲音轉換成一組可供比較的數值,內容意思越接近,轉換後的數值也會越相似,因此能用來做語意搜尋,像是使用者輸入「狗在草地追球」,系統不需要影片事先包含相同文字,也能從影片內容找出接近的畫面。

第一代EmbeddingGemma主要處理文字,EmbeddingGemma 2則納入圖片、影片與音訊,完整模型共有7.4億(740M)參數,但採分開載入的設計,只處理文字與程式碼時,可使用270M參數的文字模型,不必同時載入圖片與音訊功能。Google在Pixel 11 Pro測試量化版本時,只載入文字模型的配置約使用191MB活動記憶體,完整多模態模型則約567MB。

EmbeddingGemma 2一次可處理的內容長度也從第一代2K提高至8K詞元,在只處理單一內容類型時,最多約可處理5.5分鐘音訊、29張圖片或58個影片畫面。文字、圖片、影片與音訊也可混合輸入,但會共同使用同一個8K詞元額度。模型輸出的嵌入向量預設為768維,開發者可縮短至512、256或128維,以減少本機搜尋資料庫占用的儲存空間。Google指出,縮減至256維時大致可保留原本的搜尋品質,128維則較適合純文字索引。

程式碼搜尋能力也有提升,Google測試顯示,EmbeddingGemma 2在MTEB Code程式碼嵌入測試的成績由第一代68.76分提高至78.68分,可用於在本機程式碼庫中尋找功能相近的程式碼,或協助程式開發代理取得相關內容,而多語文字能力則大致維持第一代水準。

EmbeddingGemma 2建立在Gemma 4架構,採Apache 2.0授權,目前已可從Hugging Face與Kaggle取得模型。Google也提供MediaPipe及LiteRT等工具供開發者部署到行動裝置,並支援在瀏覽器與個人電腦上執行。