Šajā emuārā apskatīsim, kā izveidot Spark konkrētai Hadoop versijai.
Mēs arī iemācīsimies veidot Spark ar HIVE un YARN.
stīgas java ir nemainīgas
Ņemot vērā, ka jums ir Hadoops, jdk, mvn un aiziet iepriekš instalēta un iepriekš konfigurēta jūsu sistēmā.
Atvērt Mozilla pārlūks un lejupielādējiet Dzirksts izmantojot zemāk esošo saiti.
https://edureka.wistia.com/medias/k14eamzaza/
Atvērts terminālis.
Komanda: tar -xvf Downloads / spark-1.1.1.tgz
Command: ls
Atveriet direktoriju spark-1.1.1.
Jūs varat atvērt pom.xml failu. Šis fails sniedz jums informāciju par visiem atkarības tev vajag.
Nerediģējiet to, lai izvairītos no nepatikšanām.
Komanda: cd spark-1.1.1 /
Komanda: sudo gedit sbt / sbt-launch-lib.bash
Rediģējiet failu, kā parādīts momentuzņēmumā, saglabājiet to un aizveriet.
Mēs samazinām atmiņu, lai izvairītos no objektu kaudzes problēmas, kā minēts zemāk esošajā momentuzņēmumā.
Tagad izpildiet zemāk esošo komandu terminālā, lai izveidotu dzirksteli Hadoop 2.2.0 ar HIVE un YARN.
Komanda: ./sbt/sbt -P dzija -P strops -Padoop-2,2 -D hadoop.versija = 2.2.0 -D skipTests montāža
Piezīme: Mana Hadoop versija ir 2.2.0, to var mainīt atbilstoši savai Hadoop versijai.
Citām Hadoop versijām
# Apache Hadoop 2.0.5-alfa
-Dhadoop.versija = 2,0,5-alfa
#Cloudera CDH 4.2.0
-Dhadoop.version = 2.0.0-cdh4.2.0
# Apache Hadoop 0.23x
-Padoop-0,23 -Dadoop.versija = 0,23,7
# Apache Hadoop 2.3.X
-Phadoop-2.3 -Dhadoop.version = 2.3.0
# Apache Hadoop 2.4.X
-Phadoop-2.4 -Dhadoop.version = 2.4.0
Kompilēšana un iesaiņošana prasīs kādu laiku. Lūdzu, uzgaidiet, līdz tā būs pabeigta.
Divas burkas dzirksteļu montāža-1.1.1-hadoop2.2.0.jar un dzirksts-piemēri-1.1.1-hadoop2.2.0.jar tiek izveidots.
Ceļš dzirksteļu montāža-1.1.1-hadoop2.2.0.jar : /home/edureka/spark-1.1.1/assembly/target/scala-2.10/spark-assembly-1.1.1-hadoop2.2.0.jar
Ceļš spark-piemēri-1.1.1-hadoop2.2.0.jar: /home/edureka/spark-1.1.1/examples/target/scala-2.10/spark-examples-1.1.1-hadoop2.2.0.jar
Apsveicam, jūs esat veiksmīgi izveidojis Spark for Hive & Yarn.
Vai mums ir jautājums? Lūdzu, pieminējiet tos komentāru sadaļā, un mēs ar jums sazināsimies.
Saistītās ziņas:
Apache Spark ar Hadoop-Kāpēc tas ir svarīgi?