可先閱讀【AI轉型實戰上篇】玉山GENIE每月處理14億Token,模型調用成本不到5萬元
「第三代GENIE最大的變革是全面擁抱代理式AI,」玉山銀行智金處資料科學總監暨副總工程師廖子慧指出,GENIE 3.0版包括了三大特色:整合行內多款AI代理、知識管理(KM)標準化,以及建立Skills生態系。
她進一步說明,3.0版採用代理式AI技術,成為行內各種Agent的統一入口,系統會根據使用者的問題,自動分派專責AI代理來處理。
另外,也建立了可治理的標準化知識庫,逐步收攏原本分散各處的行內知識內容。第三項特色是將行內專業做事方法,例如SOP作業,轉寫成標準化的Skill,讓AI代理可以重複調用。
GENIE是玉山金控打造跨場景協作Agentic AI的統一入口,3.0新版可以根據使用者問題,自動分派專責AI助手來回覆。(圖片來源:玉山金控)
在GENIE 3.0,使用者可以透過不同的前端介面提出需求,送到統一的GENIE Root Agent判讀意圖,再透過REST API或MCP,呼叫對應的行內服務或各類型Agent來處理。
擔任GENIE專案PM的玉山銀行副主任工程師侯貫中解釋,「API全面Agent化」是3.0版設計原則之一,將既有API封裝成可透過MCP調用的形式,再由Root Agent負責統一管理和調用。原本2.0透過API串接到各單位的知識庫,到了3.0版,則盡可能將業務知識或PDF檔,集中到統一的KM資料庫,來建立全行的知識庫。
3.0整合Agent、知識與技能,讓AI開始動手完成任務
在2.0版的Prompt模板庫,到了3.0版變成了技能和工具的儲存庫(Skill & Tool Registry)。玉山希望將業務單位的SOP流程標準化,寫成技能檔,讓LLM知道這些業務流程需要取用哪些API或工具來完成任務。AI代理會先判斷需要使用什麼樣的技能,再判斷需要調用哪些工具。
侯貫中表示,3.0版主要目標是將Agent嵌入到業務場景中,建立端到端的AI服務生態系。
舉例來說,員工詢問想要報支費用,Root Agent會先到知識庫查出員工報支規定,從技能庫取得報支流程SOP,再從工具庫調用完成申請所需的工具,協助員工完成報支申請,並將處理結果自動傳送到原本的業務系統中。
平臺核心模組:模型管理、技能管理、工具管理、知識檢索、權限控管和安全模組等
從GENIE 3.0的技術架構來看,平臺支援多元資料類型的輸入和輸出,也支援多種終端設備,涵蓋手機、筆電到桌機。
核心更有多項功能模組,Skills管理功能掌管了業務流程SOP、Tools管理功能提供了可用的Agent呼叫和Tool呼叫,知識檢索功能則整合了行內知識庫、業務公告和法令規章資訊。權限控管模組使用者權限管理,也有專門的費用管理模組,安全功能也涵蓋資安防護和個資防護。
還有一項模型平臺模組能,負責切換模型和模型監控,讓GENIE 3.0可以切換使用不同商用LLM或是地端開源模型。
GENIE 3.0全面擁抱 Agent,提供多種LLM可選,更有記憶庫支持Agent個人化,內建技能庫和工具庫,可透過MCP閘道來調動既有API。(圖片來源:玉山金控)
自訂Agentic Framework框架,開發任何場景Agent都要遵循
為了打造跨場景協作的Agentic AI入口,GENIE 3.0除了上面這套集中式的技術平臺,還訂定了一套統一的開發框架,所有Agent應用都要依循這個標準化開發框架來打造,任何要提供給Agent調用的工具,也要依循這套框架,上架到工具庫登記,Root Agent才能用統一的MCP方式調用。這套開發框架就是玉山自己的Agentic Framework。
侯貫中解釋,早期每個團隊都從零開發AI應用,開發經驗難以複製,為了規模化,才需要定義統一的開發框架。
這套Agentic Framework分為四層,最上層是應用系統通路層(Access Layer),其次是指揮調度層、執行作業層和最底部的管理運維層。
應用系統通路層提供統一的Agent調用方式、授權認證機制與API Gateway。使用者透過不同應用系統或存取通路想要呼叫一個Agent時,統一要透過API Gateway介接,獲得授權認證後,再經過一道全域安全護欄(Shared Guardrails),套用全行統一的控管規則。護欄會先篩選使用者的問題內容,識別出不合規或高風險內容後採取對應的處理,然後才將提問送入第二層的指揮調度層,交由Agent Runtime中的Agent程式回應。
技術團隊開發的Agent程式,主要部署在指揮調度層中的Agent Runtime環境中,不同的Agent,各有自己的獨立執行環境。
Agent Runtime內有一個Policy Engine機制,用來設定每一個Agent的個別行為限制,例如限制法金Agent不能回答其他金融業務的問題。另外還提供了代理清單和工具清單,明確限這款Agent有權調用的所有工具或其他協作Agent,也有助於快速查找。
在執行作業層,提供了一套共用的元件模組,包括語言模型(LLM/SLM)、記憶單元以及一套工具集,內有RAG知識檢索工具、資料庫查詢工具和內外部API呼叫等。最底層的管理運維層則包括了端到端追蹤機制、營運儀表板、稽核日誌和FinOps機制。
靠記憶單元實現個人化服務,讓Agent適應每個人的工作習慣
玉山設計記憶單元的目的,是為了實現個人化的服務,讓LLM獲得相關的上下文脈絡,提供更精準的回答。記憶單元可以在符合規範的前提下,較長時間地保存對話紀錄中的部分關鍵內容,讓Agent適應每一個人自己的習慣,讓標準化的Agent和工具,支援工作流程個人化。
Root Agent會依據使用者的問題,規畫出所有的步驟,依序執行,調用需要的工具,並檢查每一步的執行結果,最終完成使用者交付的任務。
這套Agentic Framework統一由玉山銀行的AI卓越中心團隊負責維護和發布。任何一款Agentic解決方案,都要依循這個框架來開發。
玉山全員AI化願景:每個員工帶一位數位員工
玉山AI發展路徑,源自2006年展開,累積十多年的深厚大數據實戰能力,2019年設立「智能金融處」,帶頭主導AI應用的開發。2023~2025年間,玉山AI發展進入深度整合階段,上百支AI服務穩定營運,建立了一套AI治理框架及從上到下的AI人才教育訓練體系,更全力投入生成式AI。2026年,玉山進入創新突破階段,從數位轉型升級到「AI轉型」,要從「AI輔助」邁向「人機協作的Agentic銀行」願景。
玉山AI發展路徑,在十多年深厚的大數據實力上展開AI的發展。現有上百項AI應用,AI治理架構和人才培訓體系完善,下一步要邁向人機協作的Agentic銀行。(圖片來源:玉山金控)
GENIE 3.0正是玉山銀行邁向代理式銀行的關鍵一步。廖子慧強調,GENIE 3.0的目標是成為支援跨場景協作的Agentic AI統一入口,達成「每個員工帶一位數位員工」的全員AI化願景。
玉山金控科技長張智星指出:「AI浪潮,現在正從生成式AI轉變成代理式AI,未來會變成『數位員工』。對真人行員來說,代理式銀行,就是讓電腦可以做好行員該做的事。」他補充,要將銀行內的做事方法,變成各式各樣的技能,讓AI代理調用這些技能,一步步自動完成任務,就算遇到問題,Agent透過LLM可以自動調用其他技能,想辦法完成任務。
「代理式AI的風險雖然比生成式AI更高,但也會更方便。」張智星強調,這個趨勢正在實現中,受限各式各樣的法規,速度也不會那麼快。對銀行的挑戰是,底層的資料治理,現在要轉變成知識的管理,需要逐步建立每一項銀行相關的技能,才能達到最好的效果。
廖子慧舉例,銀行內有不同領域的專家,例如法遵、法務到資安,皆有一定的標準作業程序。將這些SOP技能化,未來要建立某一類Agent時,就可以調用這些專家能力的技能。甚至,經專家確認並轉化成Skill後,相同的專業做法可被不同Agent重複使用,減少重複諮詢的時間,更加快新服務的開發。
將真人作業程序技能化,就可以用AI思考如何改造核心流程,需要重新思考未來的流程和服務,是不是需要真人操作,還是可以靠大量Agent搭配來承接任務。但這些流程仍需要真人主管監督,或由人員與Agent協作。
「邁向代理式銀行,得先賦能真人,接著再改變工作流程,甚至是流程重組,最後可能還需要組織重組。」玉山銀行智金處資料科學總監廖子慧用一句話,點出了玉山展開AI轉型的發展路徑。
Comments (0)