Mēs esam iemācījušies, kā to izdarīt Uzbūvējiet stropu un dziju uz dzirksteles . Tagad izmēģināsim stropu un dziju piemērus vietnē Spark.
Stropa piemērs dzirkstelei
Mēs izmantosim Stropa piemēru Spark. Mēs izveidosim tabulu, ielādēsim datus šajā tabulā un izpildīsim vienkāršu vaicājumu. Strādājot ar stropu, jākonstruē a HiveContext kas manto no SQLContext .
Komanda: cd spark-1.1.1
Komanda: ./bin/spark-shell
Izveidojiet ievades failu ‘Paraugs’ jūsu mājas direktorijā, kā parādīts momentuzņēmumā (atdalīta ar cilni).
Komanda: val sqlContext = new org.apache.spark.sql.hive.HiveContext (sc)
Komanda: sqlContext.sql (“IZVEIDOT TABULU, ja NEBŪT pārbaude (nosaukums STRING, rangs INT) RINDU FORMĀTS IEROBEŽOTĀS JOMAS, KAS PABEIGTAS AR“ “LĪNIJAS, KAS PABEIGTAS”
“”)
Komanda: sqlContext.sql (“LOAD DATA LOCAL INPATH’ / home / edureka / sample ”IN TABLE test”)
uzglabāšanas klase c ++
Komanda: sqlContext.sql (“SELECT * FROM test WHERE rangs<5”).collect().foreach(println)
Dzijas piemērs dzirkstelē
Mēs darbināsim SparkPi piemēru dzijai. Mēs varam izvietot dziju uz Spark divos režīmos: klastera režīmā un klienta režīmā. Dzijas kopas režīmā dzirksteles draiveris darbojas lietojumprogrammas pamatprocesā, kuru klasterī pārvalda Dzija, un klients var aiziet prom pēc lietojumprogrammas iniciēšanas. Dzijas-klienta režīmā draiveris darbojas klienta procesā, un lietojumprogrammu galveno programmu izmanto tikai resursu pieprasīšanai no dzijas.
Komanda: cd spark-1.1.1
Komanda: SPARK_JAR =. / Assembly / target / scala-2.10 / spark-assembly-1.1.1-hadoop2.2.0.jar ./bin/spark-submit -master dzija –dievošanas režīma kopa –klases org.apache.spark.examples. SparkPi –numuri izpildītāji 1 –draivera atmiņa 2g –izpildītāja atmiņa 1g –izpildītāja kodoli 1 piemēri / mērķis / scala-2.10 / dzirksts-piemēri-1.1.1-hadoop2.2.0.jar
Kad esat izpildījis iepriekš minēto komandu, lūdzu, pagaidiet kādu laiku, līdz saņemsit Paveicās ziņu.
Pārlūkot localhost: 8088 / klasteris un noklikšķiniet uz Spark lietojumprogrammas.
kā iemācīties pl sql
Klikšķiniet uz baļķi .
Klikšķiniet uz stdout lai pārbaudītu izvadi.
Lai izvietotu dziju uz Spark klienta režīmā, vienkārši veiciet –Deploy-mode kā 'klients'. Tagad jūs zināt, kā veidot stropu un dziju uz Spark. Mēs ar tiem arī nodarbojāmies.
Vai mums ir jautājums? Lūdzu, pieminējiet tos komentāru sadaļā, un mēs ar jums sazināsimies.
Saistītās ziņas
Apache Spark ar Hadoop-Kāpēc tas ir svarīgi?
Strops un dzija tiek elektrizēta ar dzirksti