今年9月底，玉山銀行即將推出第三代GENIE，作為內部統一AI入口，全面導入Agentic AI，要從AI輔助轉為人機協作，進一步邁向代理式銀行（Agentic Banking）願景發展。
GENIE從2024年初以合規防護為目標的OA智能助手1.0版，演進到如今主打規模化的2.0版，每個月Token用量已突破14億個，超過三分之一的員工經常使用，單月模型調用成本卻不到臺幣5萬元。
GENIE是玉山自行研發的OA智能助理，2024年1月正式推出1.0，該年9月升級到2.0，2026年9月即將邁向3.0。(圖片來源：玉山金控)
從封鎖外部ChatGPT到自建GENIE，先解決員工「敢不敢用」
2023年初，全球ChatGPT爆紅，臺灣跟著掀起ChatGPT應用潮，許多企業想用，又擔心機敏資料外洩。監管嚴格的金融業甚至紛紛封鎖ChatGPT網域，玉山銀行也不例外。
玉山金控是率先採用微軟ChatGPT方案的金融業者，起初只能用於無涉機敏資料的場景，例如KYC調查中的新聞資訊彙整。但玉山對生成式AI的期待不僅止於此，擔任GENIE專案PM的玉山銀行副主任工程師侯貫中表示，玉山一直想讓員工在安全、合規的環境下使用生成式AI的服務。
直到2023年下半，玉山銀行想出了折衷解法，自行打造一套類似ChatGPT的Chatbot服務，部署在行內地端，透過DLP機制作為中介，過濾使用者輸入內容中的機敏資料，再呼叫外部LLM服務來處理，達到合規的使用。這就是OA智能助手 GENIE 1.0版的運作概念。
扮演把關角色的DLP機制不是一味阻擋可疑內容，玉山訓練了一個機敏資料識別小模型，識別出個資或機敏資料後，再採取阻擋或是等值替代的做法，例如把真實姓名替代成常見的假名，避免因為內容缺漏而削弱了LLM服務的回答品質。
很快地，玉山在2023年下半年就釋出了GENIE測試版，進行試營運，先介接LLM服務，來蒐集潛在應用場景，還沒有額外設置知識庫來提升回應精準度。隔年一月正式推出GENIE 1.0版，讓員工合規、安全地使用生成式AI技術。
GENIE 1.0一站式地整合了十多項生成式AI應用。從最簡單的純文字生成、會議記錄整理、大量文件翻譯總結等基礎應用服務，到更進階的ChatGPT形式的知識搜尋，可供行員比對法規文件或是查詢最新金融商品優惠，或是快速分析表格資料，了解資料潛藏的趨勢，也能用來分析客服資料中的顧客情緒等。1.0版從一開始就納入了流量管控和財務管理機制，紀錄各單位使用率和Token流量。
侯貫中表示，1.0版主要目的是為了解決「敢不敢用」的課題，在外部生成式AI服務網域因資安顧慮完全封鎖的情況下，提供員工一個安全的AI試驗場，避免機敏資料傳送到外部模型，也開始嘗試控管用量和費用。
1.0版上線半年，內部累積了10萬次呼叫，月平均使用人數達到全行員工的十分之一。
侯貫中表示，1.0版目標是讓行員敢用、放心用GAI，而2.0版的目標則是規模化，吸引更多員工使用，進而發展出他們自己的AI應用案例。
2.0轉型全行AI入口，靠快速迭代與人才培訓推動規模化
不到一年，玉山在2024年9月推出了2.0版GENIE，從內部Chatbot服務，進化成為全行的AI入口網站。
GENIE 1.0版的目標是讓行員敢用，放心用AI，到了2.0版的目標則是規模化，要吸引更多員工使用。（圖片來源：玉山金控）
2.0版不只是提供文字對話，更支援PDF檔、HTML網頁、圖片、影音等多模態資料的輸入，也導入了RAG檢索增強技術，整合網路搜尋，以及行內知識庫、OA規章與業務公告的查找。玉山內部統計，員工查閱特定法規的時間，從過去20分鐘縮短到30秒。新版更內建了LLM Hub，提供使用者自選模型，或是讓系統依據提問任務內容，自動導向適合的LLM。
除了功能升級，GENIE開發團隊更找來行內的使用者研究單位，透過大量訪談和分析，打造了全新介面。2.0版採取快速迭代策略，每兩個月就會迭代一次，甚至一個月就會小改版，讓功能和介面更貼近使用者的需求。
為了促進生成式AI使用經驗在全行流通，2.0版也增加了Prompt模板庫，提供常用提示模板和各單位上傳分享的指令。
技術之外，玉山也從組織面推動AI培訓，2023年開始發展AI人才的教育體系，2024年展開全行系統化的培訓，由玉山集團董事長黃男州帶頭，從高階主管開始受訓，更向下擴展到中階主管，舉辦工作坊、新人培訓班、中階主管班等，來建立AI共同的能力和溝通語言。
除了深耕AI技術之外，玉山更從組織面展開AI培訓，建立了一套從上到下的AI人才教育體系。（圖片來源：玉山金控）
2.0版GENIE於2024年9月先開放給玉山金控和銀行，第四季陸續開放營業單位，2025年5月導入玉山證券，2026年1月擴大提供到海外子行，新併入的玉山投信也從2026年6月開始啟用。
每月14億Token、模型成本不到5萬元，模型路由與FinOps是兩大關鍵
GENIE平臺升級後，再加上大力推廣，根據玉山今年上半年統計，2.0版月平均使用人數超過3,600人，等於全行超過三分之一的員工經常使用，平均每人每月用了40萬個Token，一個月全行Token總數更達到14億個。和1.0版相比，2.0版不論每月使用人數或是Token用量，都有數倍的成長。
雖然GENIE用量大增，但是最值得注意的是，已支援超過3,600名員工每月使用，侯貫中指出，目前單月模型調用成本不到臺幣5萬元。若以ChatGPT Business年繳方案公開牌價每人每月20美元來估算，3,600人就得花費超過臺幣200萬元。
侯貫中指出，GENIE靠兩大關鍵來降低成本，第一是從需求出發挑選模型，其次是嚴格控管費用。
GENIE平臺會自動依據使用場景，考慮合規和成本，搭配最適合任務的模型，而不是每次都呼叫昂貴的高階模型。玉山將建置混合雲的FinOps雲端費用管理經驗，延伸到AI費用的控管上
。GENIE 2.0版同樣內建了FinOps模組，可以提供更細緻的用量統計和計費管理，即時監控各單位每月流量是否超乎預期。每項服務上線前，會設定合理的AI預算和監控週期，一旦每週成本超過預算警戒值，立刻通知負責團隊，重新審視當週費用的合理性。還每月舉辦FinOps會議檢討AI成本，像是預期多個部門對同款模型有大量需求，則可改採大宗議價來壓低價格。
到了GENIE 2.0階段，業界也開始出現類似功能的企業版生產力平臺方案，但玉山仍堅持自行打造，除了成本考量之外，自行建置可以提供更完整的權限控管和資料可控性，更容易保存完整Log和對話紀錄，後續稽核或資料分析使用也更方便。
「員工越用越好，也越用越精熟。」玉山銀行智金處資料科學總監暨副總工程師廖子慧觀察，不少員工日常工作習慣同時打開GENIE視窗，AI也已深度綁定了他們的工作流程。
玉山金控科技長張智星更直言，員工現在已經離不開AI，不用就沒有辦法工作了。
規模化後暴露四大斷點，AI仍未真正串入業務流程
不過，隨著使用規模擴大，也讓2.0在功能、知識與流程上的限制更加明顯。玉山坦言，2.0版GENIE面臨了四大問題，包括功能孤島、知識分散、API規格混亂，以及GENIE與業務流程的斷點。
GENIE 2.0版雖然是員工使用AI服務的統一入口，使用者還是得自己切換不同的功能，缺乏系統性的整合。其次，2.0只是串接了各單位原有多款知識助理，專業知識仍舊分散保存在各單位的系統中，缺乏跨單位的共用性，難以處理跨單位知識的查詢。
第三個問題是，2.0串接了大量API，像是行內翻譯服務API、會議記錄服務API、格式轉換API、個資過濾API、全文辨識API、行內業務檢索API等。這些API的規格和邏輯各有不同，缺乏標準化的協議。
最後一點，侯貫中表示，2.0是一套獨立系統，沒有串聯業務流程，使用者必須自己將GENIE回答的內容，複製貼上到原本的業務系統中，這是GENIE與業務流程間的斷點。所以，玉山即將完成的第三代GENIE，就是為了克服前一代的這些課題。
玉山如何打造第三代GENIE，請繼續看下篇
Comments (0)