Skip to main content

AWS推出S3 Files,S3儲存桶現可掛載為檔案系統

Posted in 業界新聞
新聞

物件儲存與檔案系統長期以來是兩種不同的儲存架構,前者擅長大規模低成本儲存,後者提供應用程式熟悉的目錄結構與隨機讀寫能力。過去使用者必須根據工作負載特性擇一,或自行搭建資料搬移工作管線串接兩端。S3 Files的設計是降低物件儲存與檔案系統之間切換與同步的成本,讓支援的AWS運算資源可用標準檔案操作直接存取S3資料。

S3 Files支援NFS v4.1以上版本的所有操作,包括檔案與目錄的建立、讀取、更新及刪除。系統採用智慧分層存取策略,經常使用的檔案會自動放置在高效能儲存層,提供低延遲存取,而大型循序讀取的檔案則直接從S3讀取以最大化吞吐量。

透過檔案系統介面寫入的變更,會先彙整短時間內的連續寫入,再同步成S3儲存桶中的新物件或新版本。從S3端對物件所做的變更通常在數秒內更新到檔案系統,但要是檔案資料已從高效能儲存層過期,則要等到下次存取時才會從S3抓取最新版本。S3 Files支援多運算資源同時掛載存取,採用NFS的close-to-open一致性模型,適合需要多節點協作讀寫的場景。

S3 Files整合IAM進行存取控管,支援身分與資源政策。檔案系統使用POSIX權限模型,依據UID與GID檢查檔案層級的存取權限,相關權限資訊儲存為S3物件的中繼資料,傳輸中資料一律以TLS 1.3加密,靜態資料則支援SSE-S3或透過AWS KMS使用客戶自管金鑰加密。

AWS強調,S3 Files與Amazon FSx系列服務的定位不同。S3 Files適合資料本身就存放在S3,但需要透過檔案系統介面進行互動式共享存取的場景,AWS特別點名AI代理系統、ML訓練工作管線及多運算資源協作等工作負載。Amazon FSx則適用從地端NAS環境搬遷、HPC與GPU叢集儲存,或需要Lustre、NetApp ONTAP、OpenZFS、Windows File Server等特定檔案系統功能的需求。

View original 0 Likes 0 Boosts

Comments (0)

No comments yet.