Tartalomjegyzék:

Melyek azok a fő konfigurációs paraméterek, amelyeket a felhasználónak meg kell adnia a MapReduce feladat futtatásához?
Melyek azok a fő konfigurációs paraméterek, amelyeket a felhasználónak meg kell adnia a MapReduce feladat futtatásához?

Videó: Melyek azok a fő konfigurációs paraméterek, amelyeket a felhasználónak meg kell adnia a MapReduce feladat futtatásához?

Videó: Melyek azok a fő konfigurációs paraméterek, amelyeket a felhasználónak meg kell adnia a MapReduce feladat futtatásához?
Videó: Hadoop Map Reduce Development - Job Configuration 2024, Lehet
Anonim

A fő konfigurációs paraméterek, amelyeket a felhasználóknak meg kell adniuk a „MapReduce” keretrendszerben:

  • Munka bemeneti helyek az elosztott fájlrendszerben.
  • Munka kimeneti hely az elosztott fájlrendszerben.
  • Az adatok beviteli formátuma.
  • Az adatok kimeneti formátuma.
  • A térkép funkciót tartalmazó osztály.
  • A redukciós függvényt tartalmazó osztály.

Itt mik a fő konfigurációs paraméterek a MapReduce programban?

A „MapReduce” keretrendszer fő konfigurációs paraméterei a következők:

  • Adja meg a Jobs helyét az elosztott fájlrendszerben.
  • A feladatok kimeneti helye az elosztott fájlrendszerben.
  • Az adatok beviteli formátuma.
  • Az adatok kimeneti formátuma.
  • A térképfüggvényt tartalmazó osztály.
  • A redukciós függvényt tartalmazó osztály.

Felmerülhet az is, hogy mik a leképezők és reduktorok paraméterei? A leképezők négy paramétere a következő:

  • Hosszú írható (bemenet)
  • szövegbevitel)
  • szöveg (köztes kimenet)
  • IntWritable (köztes kimenet)

Kérdés továbbá, hogy melyek a MapReduce munka fő összetevői?

  • Fő illesztőprogram-osztály, amely a feladat konfigurációs paramétereit biztosítja.
  • Mapper osztály, amelynek ki kell terjesztenie az org-ot. apache. hadoop. mapreduce. Leképezze az osztályt, és biztosítsa a map () metódus megvalósítását.
  • Csökkentő osztály, amely kiterjeszti az org-ot. apache. hadoop. mapreduce. Szűkítő osztály.

Mi az a particionálás, és hogyan segít a MapReduce munkafolyamatban?

Elválasztó ban ben MapReduce munka A végrehajtás szabályozza a közbenső leképezési kimenetek kulcsainak particionálását. A … val Segítség a hash függvényből a kulcs (vagy a kulcs egy részhalmaza) levezeti a partíció . Az azonos kulcsértékkel rendelkező rekordok ugyanabba kerülnek partíció (minden térképezőn belül).

Ajánlott: