Skip to main content

Perplexity AI發表混合式本地伺服器推論技術

Posted in 業界新聞
新聞

Perplexity執行長Aravind Srinivas於6月2日在臺北舉行的Computex 2026大會上與英特爾執行長陳立武一同登臺,宣布首款「混合本地-伺服器推論協調器」概念。

這項技術是Perplexity AI所謂的混合式代理推論(hybrid agentic inference)的實作。該公司表示,部署AI系統需在準確性、隱私、成本三種要求間取得平衡。準確性需要最強大的模型,但這類模型往往在雲端平臺。對用戶而言,對雲端模型發送呼叫費用高昂,還有隱私疑慮。此外,有的任務較簡單,基於成本和節能考量,在本地機器上執行小型模型就能解決。

圖片來源/英特爾

本功能預計將於7月加入Perplexity Computer,本週已在Intel Core Ultra Series 3處理器平臺上展示,目前僅在Windows PC應用程式提供。

Perplexity AI指出,這項方案相當適合執行敏感資訊,但需要龐大AI分析的應用,包括財務紀錄、健康資訊和個人資料。由於大部份真實世界任務都是混合型,Personal Computer能將單一任務切分成數個部份,並思考哪些工作應執行在本地機器上,哪些工作應該交由雲端代理人處理,然後自動把各部份分別送到對的地方。而且Perplexity強調,不像其他AI工具要使用者決定放在雲端或本機,Personal Computer會自行決定,而且每個任務都不相同。

雖然Perplexity本週和英特爾公布混合推理方案,但Perplexity表示,Personal Computer同一款硬體中立的軟體框架也可在其他本地晶片平臺上運行,包括Nvidia的RTX Spark。

View original 0 Likes 0 Boosts

Comments (0)

No comments yet.