Tartalomjegyzék:

Hogyan ütemezhetek kaptármunkát oozie-ban?
Hogyan ütemezhetek kaptármunkát oozie-ban?

Videó: Hogyan ütemezhetek kaptármunkát oozie-ban?

Videó: Hogyan ütemezhetek kaptármunkát oozie-ban?
Videó: The gospel of Matthew | Multilingual Subtitles +450 | Search for your language in the subtitles tool 2024, Lehet
Anonim

Nak nek ütemezés Hive munkát segítségével Oozie , írnod kell a Kaptár -akció.

hql) van benne.

  1. Hozzon létre egy könyvtárat a HDFS-ben az alábbi parancs aktiválásával.
  2. hadoop fs -mkdir -p /felhasználó/ oozie /munkafolyamatok/
  3. Állítsa be a munkafolyamatot. xml, Kaptár script (create_table. hql) és kaptár -webhely. xml fájlt a 2. lépésben létrehozott könyvtárban. Használhatja az alábbi parancsot.

Csak hát, hogyan futtathatom a Hive szkriptet az oozie-ban?

Futtasson Hive Jobsot Oozie-val

  1. Adja meg a kaptár helyét. xml a job-xml paraméterben.
  2. Adja meg annak a szkriptnek a nevét (például script. q), amely tartalmazza a hive-lekérdezést a szkriptparaméterben.
  3. Opcionálisan hozzáadhat az Oozie indítófeladat által használt tulajdonságokat. Adja hozzá az oozie előtagot. indító a tulajdonságnevekhez.

Továbbá hogyan futtathatom az oozie munkafolyamatot? Az Oozie munkafolyamat futtatása a parancssorból

  1. Jelentkezzen be a webkonzolba.
  2. Másolja az oozie-példákat a webkonzol kezdőkönyvtárába: cp /usr/hdp/current/oozie-client/doc/oozie-examples. kátrány. gz.
  3. Fájlok kibontása a tar tar -zxvf oozie-examples.tar.gz fájlból.
  4. Másolja a példák könyvtárát a HDFS hadoop fs -copyFromLocal példákba.

Ezzel kapcsolatban hogyan ütemezhetek be egy Hadoop-munkát?

Hogyan kell ütemezni a munkákat ban ben hadoop - Quora. A legegyszerűbb módja a kód becsomagolása egy shell szkriptbe és menetrend cronként munka a szélső csomóponton (az a csomópont, ahová általában beküldi munkahelyek ). De általában a kód becsomagolása egy szkriptbe és futtatása a munka nehéz hibakeresés. tesztelni és karbantartani.

Mi az oozie munkafolyamat?

Oozie egy munkafolyamat ütemező rendszer az Apache Hadoop-feladatok kezeléséhez. Oozie munkafolyamat A munkák a cselekvések irányított aciklikus grafikonjai (DAG). Oozie A koordinátori munkák ismétlődőek Oozie munkafolyamat az idő (gyakoriság) és az adatok elérhetősége által kiváltott feladatok. Oozie egy méretezhető, megbízható és bővíthető rendszer.

Ajánlott: