Daftar Isi:

Di mana saya dapat menemukan log percikan?
Di mana saya dapat menemukan log percikan?

Video: Di mana saya dapat menemukan log percikan?

Video: Di mana saya dapat menemukan log percikan?
Video: TITIK TERANG | JALAN PULANG PERCIKAN CAHAYA ILAHI | SYAIFUL KARIM | BSI 2024, November
Anonim

Catatan direktori

Lokasi SPARK_WORKER_LOG_DIR default adalah /var/ catatan / percikan /pekerja. Standarnya catatan direktori untuk memulai Percikan Server Hemat SQL adalah $HOME/ percikan -thrift-server. Percikan Shell dan aplikasi log adalah output ke konsol. Catatan file konfigurasi terletak di direktori yang sama dengan percikan -env.sh.

Sehubungan dengan ini, bagaimana cara mendapatkan log percikan?

Percikan pekerjaan atau aplikasi dari halaman Analisis, Anda dapat mengakses log melalui UI Aplikasi dan Percikan Aplikasi UI. halaman, Anda dapat mengakses log Melalui Percikan Aplikasi UI. Anda juga dapat menambahkan log untuk mengidentifikasi kesalahan dan pengecualian dalam Percikan kegagalan pekerjaan atau aplikasi.

Demikian pula, bagaimana Anda memeriksa log benang? Melihat catatan mengajukan The log master aplikasi juga dapat dilihat di browser di UI pengelola sumber daya di benang .resourcemanager.webapp.address}/cluster (https://localhost:8088 pada satu node "cluster").

Demikian pula orang mungkin bertanya, bagaimana cara saya mendapatkan log pelaksana di Spark?

Menjawab

  1. Petunjuk untuk mendapatkan log pelaksana Spark:
  2. Untuk Amabari -- 1) Buka Spark Service dan tab Configs: 2) Temukan entri "Advanced spark-log4j-properties".
  3. Untuk Cloudera -- Setel: spark.executor.extraJavaOptions=-Dlog4j.configuration=file:/etc/spark/conf.cloudera.spark_on_yarn/log4j.properties.

Bagaimana cara menemukan URL server Spark History saya?

Misalnya, untuk server sejarah , mereka biasanya dapat diakses di server - url >:18080/api/v1, dan untuk aplikasi yang sedang berjalan, di https://localhost:4040/api/v1. Di API, aplikasi direferensikan oleh ID aplikasinya, [app-id].

Direkomendasikan: