Tartalomjegyzék:

Hol találok szikranaplókat?
Hol találok szikranaplókat?

Videó: Hol találok szikranaplókat?

Videó: Hol találok szikranaplókat?
Videó: Logging Apache Spark: How we made it easy 2024, November
Anonim

Napló könyvtárakat

Az alapértelmezett SPARK_WORKER_LOG_DIR hely /var/ log / szikra /munkás. Az alapértelmezett log könyvtár elindításához Szikra Az SQL Thrift szerver a $HOME/ szikra -takarékos-szerver. Szikra Shell és alkalmazás rönkök kimenetre kerülnek a konzolra. Napló A konfigurációs fájlok ugyanabban a könyvtárban találhatók, mint szikra -env.sh.

Ezzel kapcsolatban hogyan szerezhetek szikranaplókat?

Szikra állást vagy pályázatot az Elemzés oldalról érheti el a rönkök az Alkalmazás felhasználói felületén keresztül és Szikra Alkalmazási felület. oldalon érheti el a rönkök keresztül a Szikra Alkalmazási felület. Azt is kiegészítheti rönkök a hibák és kivételek azonosítására Szikra munka- vagy alkalmazáshiba.

Hasonlóképpen, hogyan ellenőrzi a fonalnaplókat? Megtekintés a log fájl A rönkök Az alkalmazás-mester egy böngészőben is megtekinthető az erőforrás-kezelő felhasználói felületén a következő címen: fonal .resourcemanager.webapp.address}/cluster (https://localhost:8088 egyetlen csomóponton, "fürtön").

Hasonlóképpen felmerülhet a kérdés, hogyan szerezhetek végrehajtói naplókat a Sparkban?

Válasz

  1. Utasítások a Spark végrehajtó naplóinak lekéréséhez:
  2. Amabari esetén -- 1) Nyissa meg a Spark szolgáltatást és a Konfigurációk lapot: 2) Keresse meg az "Advanced spark-log4j-properties" bejegyzést.
  3. Cloudera esetén – Beállítás: spark.executor.extraJavaOptions=-Dlog4j.configuration=file:/etc/spark/conf.cloudera.spark_on_yarn/log4j.properties.

Hogyan találhatom meg a spark History szerver URL-címét?

Pl. a történelem szerver , általában a https://< címen lennének elérhetők szerver - url >:18080/api/v1, futó alkalmazás esetén pedig a https://localhost:4040/api/v1 címen. Az API-ban egy alkalmazásra az alkalmazásazonosítója, [app-id] hivatkozik.

Ajánlott: