AWS將DuckDB分析引擎嵌入Aurora PostgreSQL,使其具備直接查詢資料湖的功能。開發者可從Aurora查詢Amazon S3中的Apache Iceberg與Parquet資料,再與資料庫內的交易資料一起處理,不必先把資料湖中的歷史資料複製進Aurora。
企業經常把近期交易等需要頻繁存取的資料放在資料庫,較久的歷史紀錄則留在S3資料湖,過去應用程式若要一起使用兩邊的資料,通常得另外建立資料搬移流程,把需要的歷史資料複製到資料庫,而現在Aurora PostgreSQL可直接讀取S3資料,既有應用程式仍能維持使用PostgreSQL連線方式與SQL語法。
查詢時,Aurora處理原本存放在資料庫內的資料,DuckDB則負責讀取資料湖內容。使用者先在Aurora建立對應到S3資料的外部資料表,之後便能像查詢一般PostgreSQL資料表一樣使用,並在同一查詢中合併Aurora與S3的資料。
除了S3中的Parquet與Iceberg,也支援S3 Tables及AWS Glue Data Catalog管理的Iceberg資料表。Aurora還可透過Glue連接相容Iceberg REST Catalog的外部資料目錄,查詢由不同資料目錄管理的Iceberg資料表。
由於要減少不必要的S3讀取量,Aurora會先依查詢條件縮小需要讀取的資料範圍,只讀取需要的欄位,經常使用的內容也可保留在快取中。查詢可以交由Aurora的主要節點或唯讀副本執行,因此企業可把部分資料分析工作分流到唯讀副本,當應用程式需要個位數毫秒的查詢延遲,也可把需要頻繁存取的資料寫入Aurora原生資料表。
相關功能支援Aurora PostgreSQL 17.11與18.6起版本,目前已在AWS所有商業區域及AWS GovCloud(US)提供。
Comments (0)
Sign in to comment