7月1日AWS宣布,旗下託管式搜尋與分析服務Amazon OpenSearch Service新增專為日誌分析設計的最佳化引擎,協助企業降低大量日誌資料的分析與儲存成本。AWS表示,這項功能不會額外收取引擎費用,目標是改善大量日誌資料的攝取、查詢與儲存效率,因應企業可觀測性需求,以及安全監控資料量持續成長所帶來的壓力。
Amazon OpenSearch Service的新引擎以Apache Parquet格式儲存資料,並針對可搜尋欄位建立Lucene倒排索引;系統執行查詢時,會依需求由Apache DataFusion處理欄式資料分析,或由Lucene處理搜尋條件,使單一查詢能同時搜尋日誌內容並彙總結果。
AWS表示,根據內部基準測試,新引擎的價格效能比最高可提升4倍,資料攝取吞吐量與分析查詢速度最高可提升2倍;透過欄式儲存,企業最多可降低70%的儲存空間需求,相當於能以相同成本保留最多3倍的日誌資料。
使用者若要採用這項功能,需建立採用OpenSearch 3.5以上版本的新網域,選擇可觀測性(observability)使用情境,並將引擎模式設為optimized;這項功能無法加入既有的Amazon OpenSearch Service網域,也無法針對一般用途網域中的個別索引或欄位啟用,企業需將資料攝取流程遷移至新網域。
AWS表示,該引擎支援管線處理語言(Piped Processing Language,PPL)與SQL查詢,但目前尚未支援領域特定語言(Domain Specific Language,DSL)查詢API。這項功能首波支援12個AWS區域,涵蓋東京、新加坡、雪梨與孟買等亞太地區。
Comments (0)