Apa itu Emrfs?
Apa itu Emrfs?

Video: Apa itu Emrfs?

Video: Apa itu Emrfs?
Video: Что такое Amazon EMR и как его использовать для обработки данных? 2024, November
Anonim

Sistem File EMR ( EMRFS ) adalah implementasi HDFS yang digunakan semua klaster Amazon EMR untuk membaca dan menulis file biasa dari Amazon EMR langsung ke Amazon S3. Enkripsi data memungkinkan Anda untuk mengenkripsi objek yang EMRFS menulis ke Amazon S3, dan mengaktifkan EMRFS untuk bekerja dengan objek terenkripsi di Amazon S3.

Mengenai hal ini, bagaimana pandangan konsisten Emrfs?

NS Tampilan konsisten EMRFS membuat dan menggunakan metadata dalam tabel Amazon DynamoDB untuk memelihara a tampilan yang konsisten objek S3 Anda. Tabel ini melacak operasi tertentu tetapi tidak menyimpan data Anda.

apa perbedaan antara s3 dan s3a? Ini adalah perbedaan antara tiga: s3 adalah overlay berbasis blok di atas Amazon S3 , sedangkan s3n/ s3a tidak. Ini adalah berbasis objek. s3n mendukung objek hingga 5GB ketika ukuran menjadi perhatian, sementara s3a mendukung objek hingga 5 TB dan memiliki kinerja yang lebih tinggi.

Dengan demikian, apakah EMR menggunakan HDFS?

ESDM Sistem File (EMRFS) Anda bisa menggunakan salah satu HDFS atau Amazon S3 sebagai sistem file di klaster Anda. Paling sering, Amazon S3 adalah digunakan untuk menyimpan data input dan output dan hasil antara disimpan di HDFS.

Apa itu s3a?

S3A (Skema URI: s3a ) Penerus S3 Asli, s3n fs, the S3a : sistem menggunakan perpustakaan Amazon untuk berinteraksi S3 . Ini memungkinkan S3a untuk mendukung file yang lebih besar (tidak ada lagi batas 5GB), operasi kinerja yang lebih tinggi dan banyak lagi.

Direkomendasikan: