Skip to main content

Google公布可在筆電執行的AI模型Gemma 4 12B

Posted in 業界新聞
新聞

Gemma 4 12B是4月公布的Gemma 4家族的最新成員。之前模型Effective 2B(E2B)、Effective 4B(E4B)、26B Mixture of Experts(MoE)及31B Dense版本分別適合執行在邊緣裝置及工作站上,最新模型則為120億參數,專門設計跑在普通筆記型電腦(Everyday Laptops)上,填補了之前模型運算平臺的空缺,實現本機端代理人(Agent)及多模態推理工作流程。12B比E2B/E4B更聰明、推理與寫程式能力更強,又比26B/31B更輕量,不需要高規格桌機顯卡或雲端伺服器。

Google說明,Gemma 4 12B技術上最大的創新是「無編碼器」統一架構(Encoder-Free Architecture)。Google移除了多模態編碼器,改用極輕量化的嵌入模組,視覺與音訊輸入可直接進入LLM骨幹。由於架構極度精簡,大幅降低記憶體佔用。此外它加入MTP(multi-token prediction)drafter來降低延遲性。

綜合這些新功能,12B得以在輕量模型中具備多模態、及多步驟推理及自主修正能力。在標竿測試中12B表現接近Gemma 4 26B MoE模型,但總記憶體大小不到一半。這也使得它夠輕巧,足以執行在16GB RAM的消費者筆電上,支援複雜的代理式工作流程。

在標竿測試中,12B的推理、數學(AIME)和程式碼能力,皆超越參數大一倍以上的上一代Gemma 3 27B。而在考驗邏輯思考的GPQA和AIME測試中,Gemma 4 12B不僅超越同量級的Llama 3 8B,甚至超越了體積大6倍的Llama 3 70B。

現在Gemma 4 12B已經以對開發人員最友善的Apache 2.0授權公開。開發人員可以透過Google AI Edge Gallery App(macOS版)、Google AI Edge Eloquent(macOS版)及LiteRT-LM CLI,以及LM Studio和Ollama等開源工具搭配測試Gemma 4 12B,或是從Hugging FaceKaggle下載預訓練及指令微調過的版本。

Preview image for Google公布Gemma 4號稱最強本地端開放模型

Google公布Gemma 4號稱最強本地端開放模型

主打本地端執行與AI代理開發能力,支援多模態輸入與最長256K上下文

www.ithome.com.tw
View original 0 Likes 0 Boosts

Comments (0)

No comments yet.