A Spark melyik Python verzióját használja?
A Spark melyik Python verzióját használja?

Videó: A Spark melyik Python verzióját használja?

Videó: A Spark melyik Python verzióját használja?
Videó: Data Science with Python! Analyzing File Types from Avro to Stata 2024, December
Anonim

Szikra Java 8+-on fut, Piton 2,7+/3,4+ és R 3,1+. A Scala API esetében Szikra 2.3. 0 használ Scala 2.11. Szükséged lesz rá használat kompatibilis Scala változat (2.11.

Ennek megfelelően működik a spark a Python 3-mal?

Apache Szikra egy klaszteres számítástechnikai keretrendszer, amely jelenleg az egyik legaktívabban fejlesztett a nyílt forráskódú Big Data arénában. A legújabb 1.4-es verzió óta (2015. június), Szikra támogatja az R és Python 3 (a korábban elérhető Java, Scala és Piton 2).

A fentieken kívül hogyan tudom megváltoztatni a Python spark verzióját? Abban az esetben, ha csak szeretné változás az python verzió az aktuális feladathoz a következő pyspark start parancsot használhatja: PYSPARK_DRIVER_PYTHON=/home/user1/anaconda2/bin/ piton PYSPARK_PYTHON=/usr/local/anaconda2/bin/ piton pyspark -- mester..

Továbbá mi a legújabb spark verzió?

Apache Spark

Eredeti szerző(k) Matei Zaharia
Első kiadás 2014. május 26
Stabil kibocsátás 2.4.5 / 2020. február 8
Adattár Spark Repository
Beírva Scala

Mi az a spark Python?

Big Data megszelídítése Apache segítségével Szikra és Piton A Py4J egy népszerűen integrált könyvtár PySpark ez lehetővé teszi piton dinamikus interfész a JVM objektumokkal (RDD). Apache Szikra interaktív héjjal rendelkezik piton mint a Scalánál. A héj piton úgy is ismert mint PySpark ”.

Ajánlott: