Tartalomjegyzék:

Hogyan indíthatom el a spark History szerveremet?
Hogyan indíthatom el a spark History szerveremet?

Videó: Hogyan indíthatom el a spark History szerveremet?

Videó: Hogyan indíthatom el a spark History szerveremet?
Videó: Hadoop Rack Awareness 2024, Lehet
Anonim

A Spark előzménykiszolgáló engedélyezése:

  1. Hozzon létre egy könyvtárat az eseménynaplók számára a DSEFS fájlrendszerben: dse hadoop fs -mkdir /spark $ dse hadoop fs -mkdir /spark/events.
  2. Ha az eseménynaplózás engedélyezve van, az alapértelmezett viselkedés az összes napló mentése, ami miatt a tárhely idővel nő.

Ezen kívül hogyan állíthatok be egy spark History szervert?

A Spark előzménykiszolgáló engedélyezése:

  1. Hozzon létre egy könyvtárat az eseménynaplók számára a DSEFS fájlrendszerben: dse hadoop fs -mkdir /spark $ dse hadoop fs -mkdir /spark/events.
  2. Ha az eseménynaplózás engedélyezve van, az alapértelmezett viselkedés az összes napló mentése, ami miatt a tárhely idővel nő.

Hasonlóképpen, hogyan találhatom meg a spark History szerver URL-címét? Pl. a történelem szerver , általában a https://< címen lennének elérhetők szerver - url >:18080/api/v1, futó alkalmazás esetén pedig a https://localhost:4040/api/v1 címen. Az API-ban egy alkalmazásra az alkalmazásazonosítója, [app-id] hivatkozik.

Hasonlóképpen, mi az a spark History szerver?

Az A Spark történelem szerver egy megfigyelő eszköz, amely információkat jelenít meg az elkészültekről Szikra alkalmazások. Ez az információ van az adatokból, amelyeket az alkalmazások alapértelmezés szerint a Hadoop Distributed File System (HDFS) könyvtárába írnak.

Mi az a Sparkui?

A Spark Web UI lehetővé teszi az ütemezési szakaszok és feladatok listájának, a környezeti információk, a futó végrehajtókkal kapcsolatos információk és egyebek megtekintését. Tekintse meg ezt a 30 perces bemutatót, hogy többet megtudjon a következőkről: A Spark program összetevői és életciklusa. Hogyan fut a Spark-alkalmazás Hadoop-fürtön.

Ajánlott: