Videó: Mi az a szikraközvetítés?
2024 Szerző: Lynn Donovan | [email protected]. Utoljára módosítva: 2023-12-15 23:48
Adás változók az Apache-ban Szikra egy mechanizmus a változók megosztására a végrehajtók között, amelyek csak olvashatóak. Nélkül adás változók esetén ezeket a változókat minden egyes végrehajtóhoz minden transzformációhoz és művelethez elküldik, és ez hálózati többletterhelést okozhat.
Hasonlóképpen azt kérdezik az emberek, hogy mikor sugározzak szikrát?
Adás A változókat többnyire akkor használják, ha a feladatok több szakaszban ugyanazokat az adatokat igénylik, vagy ha az adatok deserializált formában történő gyorsítótárazására van szükség. Adás a változókat a SparkContext meghívásával egy v változó használatával hozza létre.
Továbbá, mi az akkumulátorok és a broadcast változók a szikrában? Szikra kétféle megosztást támogat változók : sugárzott változók , amellyel az összes csomóponton egy érték gyorsítótárazható a memóriában, és akkumulátorok , amelyek változók amelyeket csak „adnak hozzá”, például számlálókat és összegeket.
Ezt figyelembe véve mi az a szikraakkumulátor?
Akkumulátorok olyan változók, amelyeket csak asszociatív művelettel „adunk hozzá”, és ezért párhuzamosan hatékonyan támogathatók. Használhatók számlálók (mint a MapReduce) vagy összegek megvalósítására. Szikra natívan támogatja akkumulátorok numerikus típusok, és a programozók új típusokat is támogathatnak.
Hogyan frissíthetem a sugárzási változómat a Sparkban?
- Helyezze át a referenciaadat-keresést egy forEachPartition vagy forEachRdd-be úgy, hogy az teljes mértékben a dolgozókon legyen.
- Indítsa újra a Spark Contextet minden alkalommal, amikor a refdata megváltozik, egy új Broadcast Variable segítségével.