[AWS Technical Support Note]วิธีแก้ปัญหาเมื่อคัดลอกอ็อบเจกต์จำนวนมากระหว่าง S3 บัคเก็ตด้วยคำสั่ง s3 sync ไม่สำเร็จ

ปัญหาที่เกิดขึ้น

ใช้คำสั่งด้านล่างนี้เพื่อที่จะคัดลอกอ็อบเจกต์ระหว่าง S3 บัคเก็ต

aws s3 sync s3://bucketA s3://bucketB

ใน บัคเก็ต A มีอ็อบเจกต์ที่มีขนาดหลายเทราไบต์อยู่หลายสิบล้านรายการ

ตรวจสอบดูว่าเสร็จหรือยังหลังจากที่ผ่านมาหลายชั่วโมงแต่พบว่าไม่สำเร็จด้วยสาเหตุบางอย่าง
มีวิธีอื่นที่ดีกว่าหรือแนวทางแก้ปัญหาหรือไม่?

วิธีแก้ปัญหา

การคัดลอกอ็อบเจกต์จำนวนมากระหว่างบัคเก็ต S3 โดยใช้คำสั่ง s3 sync อาจล้มเหลวเนื่องจาก time out หรือสาเหตุอื่น

ในกรณีนี้สามารถใช้วิธี Batch Replication แทนได้

บทความอ้างอิง

Replicating objects within and across Regions (English)

On-demand replication – To replicate existing objects from the source bucket to one or more destination buckets on demand, use S3 Batch Replication

แปลไทยโดย AI

On-demand replicatioท – เพื่อจำลองวัตถุที่มีอยู่จากบัคเก็ตต้นทางไปยังบัคเก็ตปลายทางหนึ่งรายการหรือมากกว่าตามความต้องการ ให้ใช้วิธี S3 Batch Replication

Replicating existing objects with Batch Replication (English)

S3 Batch Replication differs from live replication, which continuously and automatically replicates new objects across Amazon S3 buckets. Instead, S3 Batch Replication occurs on demand on existing objects. You can use S3 Batch Replication to replicate the following types of objects:

・Objects that existed before a replication configuration was in place
・Objects that have previously been replicated
・Objects that have failed replication

You can replicate these objects on demand by using a Batch Operations job.
To get started with Batch Replication, you can:

แปลไทยโดย AI

S3 Batch Replication แตกต่างจากการ live replication ซึ่งจะทำการ　Replication อ็อบเจคต์ใหม่อย่างต่อเนื่องและอัตโนมัติในบัคเก็ต Amazon S3 ในทางกลับกัน S3 Batch Replication จะเกิดขึ้นตามความต้องการบนอ็อบเจ็กต์ที่มีอยู่ คุณสามารถใช้ S3 Batch Replication เพื่อจำลองอ็อบเจ็กต์ประเภทต่อไปนี้

・อ็อบเจ็กต์ที่มีอยู่ก่อนที่จะมีการกำหนด replication
・อ็อบเจ็กต์ที่ได้รับการ replication มาแล้ว
・อ็อบเจ็กต์ที่ replication ล้มเหลว

คุณสามารถ replication อ็อบเจ็กต์เหล่านี้ตามต้องการได้โดยใช้งาน Batch Operations

Replicate Existing Objects in your Amazon S3 Buckets with Amazon S3 Batch Replication (English)

S3 バッチレプリケーションで既存オブジェクトの同期を試してみた (Japanese)

บทความอื่นๆที่เกี่ยวข้องกับ Amazon S3

Amazon S3 คืออะไร? ควรใช้เมื่อไหร่? และศัพท์เฉพาะที่ควรรู้ (Thai)
วิธีการย้ายข้อมูลของ Amazon S3 ไปยัง Region อื่นโดยใช้ฟังก์ชั่น Cross Region Replication (Thai)
วิธีสำรองข้อมูล S3 ด้วย AWS Backup (Thai)

บทความต้นฉบับ

S3 バケット間で s3 sync コマンドを用いて大量のオブジェクトをコピーする際に失敗する事象への対応方法 (Japanese)