Databricks公布支援情境學習的表格式基礎模型(Tabular foundation model,TFM)運算平臺AI Runtime,讓企業用戶更容易上手免客製化訓練的預測模型
Databricks發表表格基礎模型運算平臺AI Runtime
Show the rest Hide the rest
企業許多珍貴的預測機器學習應用都仰賴表格資料,像是信用風險、客戶流失、需求預測和預測式維護,過去都需要企業為每種預測任務開發、訓練和維護模型。表格基礎模型(TFM)提供另一方法,它可以在未經特定訓練情況下,以新資料集進行預測。
要將機器學習系統大規模部署對企業而言,在模型開發及維護都很費工夫及人力。而最近興起的代理式系統雖然加速這些運作,但每種ML任務或資料集仍仰賴客製化訓練的模型。一個新方法是在大量表格式資料運用Transformer架構,形成表格基礎模型(TFM)。
TFM是一個以數百萬筆多種合成資料集預訓練的Transformer模型,能在全新未見過的資料集推論出變項關係。在預測時,標籤過的列(row)會和要預測的列一起送進模型。Transformer模型的注意力會將每一新列和標籤過的列關聯,藉由一次前向式傳遞(single forward pass)產生預測,這是情境學習(in-context learning, ICL)的過程。
雖然這種零樣本學習已提供很強的基礎,不過TFM也允許微調。只要以特定資料集更新模型預訓練權重,使用團隊就能再推升預測準確性,用於要求較高預測準確性的應用場景。現行主流的TFM包括TabICL、TabPFN、Mitra、KumoTabular等
Databricks將資料和AI整合於單一開放平臺,即新服務AI Runtime上。這是全代管的無伺服器GPU基礎架構,提供運行GPU工作負載,包括實驗及生產環境的部署。
Databricks說針對TFM的AI Runtime優點包括可彈性存取GPU,包括支援TabPFN-3高達100萬列、200萬個特徵的H100。內建可觀測性、GPU利用率及MLflow實驗追蹤功能的深度學習堆疊,這包括原生支援內建notebooks、Lakeflow Jobs和Unity Catalog及原生Docker支援,可透過Databricks CLI進行遠端SSH存取。
其次,AI Runtime具備有深度學習和GPU專業的Genie Code代理人,可撰寫、除錯推論及訓練程式碼、解決瓶頸和框架錯誤。最後,它以Databricks Model Serving無縫部署,能把TFM部署為REST端點。對一些高度要求延展性的應用如信用評分或產品推薦,能在應用程式上提供即時預測。
Lakeflow Jobs是Databricks用來自動化、排程與監控複雜工作流程的原生管線編排引擎。Unity Catalog是Databricks集中管理整個湖倉一體(Lakehouse)平臺所有數據、分析與AI資產的統一治理框架。這些工具可協助企業有效治理和管理GPU工作流而不形成資料壁壘。
Databricks並發布完整的技術指南與開源程式碼範例。
Read the full article on www.ithome.com.tw
Comments (0)
Sign in to comment