Daftar Isi:

Bagaimana cara memulai server Riwayat percikan saya?
Bagaimana cara memulai server Riwayat percikan saya?

Video: Bagaimana cara memulai server Riwayat percikan saya?

Video: Bagaimana cara memulai server Riwayat percikan saya?
Video: Ada masalah saat berkomunikasi dengan server Google 2024, Mungkin
Anonim

Untuk mengaktifkan server riwayat Spark:

  1. Buat direktori untuk log peristiwa di sistem file DSEFS: dse hadoop fs -mkdir /spark $ dse hadoop fs -mkdir /spark/events.
  2. Saat log peristiwa diaktifkan, perilaku default adalah untuk semua log disimpan, yang menyebabkan penyimpanan bertambah seiring waktu.

Selain ini, bagaimana cara mengatur server Spark History?

Untuk mengaktifkan server riwayat Spark:

  1. Buat direktori untuk log peristiwa di sistem file DSEFS: dse hadoop fs -mkdir /spark $ dse hadoop fs -mkdir /spark/events.
  2. Saat log peristiwa diaktifkan, perilaku default adalah untuk semua log disimpan, yang menyebabkan penyimpanan bertambah seiring waktu.

Demikian pula, bagaimana cara menemukan URL server Spark History saya? Misalnya, untuk server sejarah , mereka biasanya dapat diakses di server - url >:18080/api/v1, dan untuk aplikasi yang sedang berjalan, di https://localhost:4040/api/v1. Di API, aplikasi direferensikan oleh ID aplikasinya, [app-id].

Demikian juga, apa itu server Spark History?

NS Server riwayat Spark adalah alat pemantauan yang menampilkan informasi tentang selesai Percikan aplikasi. Informasi ini adalah ditarik dari data yang secara default ditulis oleh aplikasi ke direktori di Hadoop Distributed File System (HDFS).

Apa itu Sparkui?

Spark Web UI memungkinkan Anda melihat daftar tahapan dan tugas penjadwal, informasi lingkungan, informasi tentang pelaksana yang sedang berjalan, dan banyak lagi. Tonton demo 30 menit ini untuk mempelajari tentang: Komponen dan siklus hidup program Spark. Bagaimana aplikasi Spark Anda berjalan di kluster Hadoop.

Direkomendasikan: