Tartalomjegyzék:

Hogyan javíthatom a sqoop teljesítményemet?
Hogyan javíthatom a sqoop teljesítményemet?

Videó: Hogyan javíthatom a sqoop teljesítményemet?

Videó: Hogyan javíthatom a sqoop teljesítményemet?
Videó: Hogyan javíthatom a hallásomat? - #csakegyoldal S1E48 2024, November
Anonim

Optimalizálni teljesítmény , készlet az a leképezési feladatok száma alacsonyabb értékre, mint az a csatlakozások maximális száma az adatbázis támogatja. Irányítás az mennyiségű párhuzamosság, hogy Sqoop adatátvitelre fogja használni az az ellenőrzés fő módja az töltsd fel a ti adatbázis.

Ennek megfelelően mi történik, ha a sqoop meghiúsul egy folyamat között?

Egy tipikus Sqoop Az a feladat, amely egy forrásadatbázisból HDFS-be foglal adatokat, átmásolja az adatokat egy célkönyvtárba. A másolt fájl törlésre kerül ha sqoop nem sikerül befejezése nélkül.

Felmerülhet az is, hogy hogyan lehet elérni a párhuzamosságot a sqoopban? Irányítás Párhuzamosság . Sqoop párhuzamosan importálja az adatokat a legtöbb adatbázis-forrásból. Megadhatja az importáláshoz használandó leképezési feladatok (párhuzamos folyamatok) számát a -m vagy a --num-mappers argumentum használatával. Ezen argumentumok mindegyike egy egész értéket vesz fel, amely megfelel a mértékének párhuzamosság alkalmazni

Következésképpen hogyan javíthatom a Hive-lekérdezésem teljesítményét?

Az alábbiakban felsoroljuk azokat a gyakorlatokat, amelyeket követhetünk a Hive-lekérdezések optimalizálása érdekében

  1. Tömörítés engedélyezése a Hive-ben.
  2. Csatlakozások optimalizálása.
  3. Kerülje el a globális válogatást a kaptárban.
  4. A Tez Execution Engine engedélyezése.
  5. A LIMIT operátor optimalizálása.
  6. Párhuzamos végrehajtás engedélyezése.
  7. Engedélyezze a Mapreduce Strict módot.
  8. Egyszeri csökkentés a Multi Group BY számára.

Hogyan működik a sqoop split?

Használható az importálási teljesítmény fokozására a nagyobb párhuzamosság elérésével. Sqoop létrehozza hasít a táblázat egy adott oszlopában lévő értékek alapján, amelyeket a -- hasított -a felhasználó által az import paranccsal. Ha nem érhető el, akkor a beviteli tábla elsődleges kulcsa kerül létrehozásra hasít.

Ajánlott: