Apa yang dikurangi dengan kunci?
Apa yang dikurangi dengan kunci?

Video: Apa yang dikurangi dengan kunci?

Video: Apa yang dikurangi dengan kunci?
Video: Kurangilah Segalanya Kalau Mau Sukses! | Helmy Yahya Bicara 2024, November
Anonim

Fungsi Spark RDD reduceByKey menggabungkan nilai untuk masing-masing kunci menggunakan asosiatif mengurangi fungsi. Itu secara intuitif berarti, fungsi ini menghasilkan hasil yang sama ketika diterapkan secara berulang pada kumpulan data RDD yang sama dengan banyak partisi terlepas dari urutan elemen.

Lalu, apa perbedaan antara groupByKey dan reduceByKey?

groupByKey () hanya untuk mengelompokkan kumpulan data Anda berdasarkan kunci. kurangiDenganKey () adalah sesuatu seperti pengelompokan + agregasi. kurangiDenganKey dapat digunakan ketika kita menjalankan pada kumpulan data yang besar. agregatByKey() secara logis sama dengan kurangiDenganKey () tetapi memungkinkan Anda mengembalikan hasil berbeda Tipe.

Juga Tahu, mengapa mengurangi tindakan dalam percikan? Percikan berkurang operasi adalah tindakan jenis operasi dan memicu eksekusi DAG penuh untuk semua instruksi malas berbaris. Percikan RDD mengurangi fungsi mengurangi elemen RDD ini menggunakan operator biner komutatif dan asosiatif yang ditentukan. Percikan mengurangi operasinya hampir mirip dengan mengurangi metode di Scala.

Selain di atas, apa itu Pairrdd?

Spark menyediakan operasi khusus pada RDD yang berisi pasangan kunci/nilai. RDD ini disebut pasangan RDD. Pair RDD adalah blok bangunan yang berguna di banyak program, karena mereka mengekspos operasi yang memungkinkan Anda untuk bertindak pada setiap kunci secara paralel atau mengelompokkan kembali data di seluruh jaringan. PasanganRDD adalah pasangan KUNCI/VALUE.

Apakah reduceByKey suatu tindakan?

reduce() mengeluarkan koleksi yang tidak menambah grafik asiklik terarah (DAG) sehingga diimplementasikan sebagai tindakan . Namun, kurangiDenganKey () mengembalikan RDD yang hanya merupakan level/status lain dalam DAG, oleh karena itu merupakan transformasi.

Direkomendasikan: