Daftar Isi:

Bagaimana cara menjadwalkan pekerjaan sarang di oozie?
Bagaimana cara menjadwalkan pekerjaan sarang di oozie?

Video: Bagaimana cara menjadwalkan pekerjaan sarang di oozie?

Video: Bagaimana cara menjadwalkan pekerjaan sarang di oozie?
Video: 13.1. Oozie | Introduction 2024, November
Anonim

Ke jadwalkan Hive job menggunakan Oozie , Anda perlu menulis Sarang lebah -tindakan.

hql) di dalamnya.

  1. Buat direktori di HDFS dengan menjalankan perintah di bawah ini.
  2. hadoop fs -mkdir -p /pengguna/ oozie /alur kerja/
  3. Masukan alur kerja. xml, Sarang lebah skrip (buat_tabel. hql) dan sarang lebah -lokasi. xml di direktori yang dibuat pada langkah 2. Anda dapat menggunakan perintah di bawah ini.

Jadi, bagaimana cara menjalankan skrip Hive di oozie?

Jalankan Hive Jobs dengan Oozie

  1. Tentukan situs sarang. xml dalam parameter pekerjaan-xml.
  2. Tentukan nama skrip (misalnya, skrip. q) yang berisi kueri sarang dalam parameter skrip.
  3. Secara opsional, tambahkan properti yang digunakan oleh pekerjaan peluncur Oozie. Tambahkan awalan oozie. peluncur ke nama properti.

Selanjutnya, bagaimana cara menjalankan alur kerja oozie? Menjalankan Alur Kerja Oozie Dari Baris Perintah

  1. Masuk ke Konsol Web.
  2. Salin contoh oozie ke direktori home Anda di konsol web: cp /usr/hdp/current/oozie-client/doc/oozie-examples. ter. gz.
  3. Ekstrak file dari tar tar -zxvf oozie-examples.tar.gz.
  4. Salin direktori contoh ke contoh HDFS hadoop fs -copyFromLocal.

Dalam hal ini, bagaimana cara menjadwalkan pekerjaan Hadoop?

Bagaimana caranya? jadwal pekerjaan di dalam hadoop - Quora. Cara paling sederhana adalah dengan membungkus kode Anda dalam skrip shell dan Jadwal itu sebagai cron pekerjaan di simpul tepi (simpul tempat Anda biasanya mengirimkan pekerjaan ). Tetapi biasanya mengemas kode dalam skrip dan menjalankannya sebagai pekerjaan sulit untuk di-debug. menguji dan memelihara.

Apa itu alur kerja oozie?

Oozie adalah alur kerja sistem penjadwal untuk mengelola pekerjaan Apache Hadoop. Alur Kerja Oozie pekerjaan adalah Directed Acyclical Graphs (DAGs) dari tindakan. Oozie Pekerjaan koordinator berulang Alur Kerja Oozie pekerjaan dipicu oleh waktu (frekuensi) dan ketersediaan data. Oozie adalah sistem yang terukur, andal, dan dapat diperluas.

Direkomendasikan: