Skip to main content
← Back to board (業界新聞)

Redshift支援Iceberg資料表多陳述式交易,避免讀取未完成更新

Posted in 業界新聞

新聞

AWS擴充資料倉儲服務Amazon Redshift對Apache Iceberg資料表的支援,現已提供多陳述式交易、自動寫入衝突解決及時間旅行查詢(Time Travel Query)。使用者可將多次資料更新合併為單一交易提交,避免分析工作讀到尚未完成的更新結果,也能查詢特定時間點的歷史資料。

Show the rest

Apache Iceberg是讓不同分析引擎共用資料的開放式資料表格式,Redshift先前已支援在Iceberg資料表執行新增、修改、刪除及合併等操作,但每次寫入都會分別提交。若資料整理流程需要先更新銷售紀錄,再刪除已取消的訂單,由於兩個操作分別提交,其他分析工作可能在刪除作業完成前,讀到仍包含取消訂單的資料。

新增的多陳述式交易允許開發者使用BEGIN與COMMIT,將多個SQL操作包在同一筆交易中,並在提交前檢查更新結果。所有修改會一次發布為單一Iceberg快照,其他查詢只能看到交易前或交易後的完整資料。如果中途發生錯誤或取消交易,尚未提交的修改也不會對外公開。不過,目前一筆交易只能寫入同一張Iceberg資料表,尚不支援跨多張資料表一併更新。

Redshift也強化並行寫入處理,當不同工作同時修改資料表,只要確認修改範圍沒有衝突,就能自動將變更套用至最新版本,減少交易因寫入衝突而重新執行的情況。

時間旅行查詢則讓使用者透過AS OF TIMESTAMP語法,讀取Iceberg資料表在指定時間點的歷史快照,可用於重現報表、比對資料變更或追查錯誤。該功能僅負責讀取,不會直接還原資料,能查詢多久以前的內容,也取決於歷史快照的保留設定。目前僅支援登錄在AWS Glue Data Catalog的Iceberg資料表,不支援由AWS Lake Formation治理的資料表。

AWS測試顯示,將每25個小型INSERT操作合併為一筆交易提交,可使總計500個INSERT操作的執行時間縮短14.77%,但效能改善仍取決於工作負載。Amazon Redshift新功能已在AWS所有商業區域提供,支援採用新一代RG運算節點的Redshift叢集,以及Redshift無伺服器環境。

Read the full article on www.ithome.com.tw

https://aws.amazon.com/about-aws/whats-new/2026/11/redshift-time-travel-multi-statement/ aws.amazon.com
View original 0 Likes 0 Boosts

Comments (0)

No comments yet.