Instalējiet Hadoop: Viena mezgla Hadoop klastera iestatīšana
No mūsu iepriekšējiem emuāriem , jums noteikti ir jābūt teorētiskai idejai par Hadoop, HDFS un tā arhitektūru.Bet, lai dabūtu jums ir nepieciešamas labas praktiskas zināšanas.Es ceru, ka jums būtu paticis mūsu iepriekšējais emuārs vietnē , tagad es jūs iepazīstināšu ar praktiskajām zināšanām par Hadoop un HDFS. Pirmais solis uz priekšu ir Hadoop instalēšana.
Hadoop instalēšanai ir divi veidi, t.i. Viens mezgls un Vairāki mezgli .
Viena mezgla kopa nozīmē tikai vienu DataNode, kas darbojas un visus NameNode, DataNode, ResourceManager un NodeManager izveido vienā mašīnā. To izmanto studiju un testēšanas vajadzībām. Piemēram, ņemsim vērā datu kopas paraugu veselības aprūpes nozarē. Tātad, lai pārbaudītu, vai Oozie darbi ir ieplānojuši visus procesus, piemēram, datu apkopošanu, apkopošanu, uzglabāšanu un apstrādi pareizā secībā, mēs izmantojam viena mezgla kopu. Tas var viegli un efektīvi pārbaudīt secīgu darbplūsmu mazākā vidē, salīdzinot ar lielām vidēm, kas satur terabaitus datu, kas sadalīti simtiem mašīnu.
Atrodoties a Vairāku mezglu kopa , darbojas vairāk nekā viens DataNode, un katrs DataNode darbojas dažādās mašīnās. Vairāku mezglu kopu organizācijās praktiski izmanto, lai analizētu lielos datus. Ņemot vērā iepriekš minēto piemēru, reāllaikā, kad mēs strādājam ar petabaitu datiem, tie ir jāsadala simtiem apstrādājamo mašīnu. Tādējādi šeit mēs izmantojam vairāku mezglu kopu.
Šajā emuārā es jums parādīšu, kā instalēt Hadoop vienā mezglu kopā.
Priekšnoteikumi
- VIRTUĀLĀ KASTE : to izmanto operētājsistēmas instalēšanai tajā.
- OPERĒTĀJSISTĒMA : Hadoop var instalēt operētājsistēmās, kuru pamatā ir Linux. Ļoti bieži tiek izmantoti Ubuntu un CentOS. Šajā apmācībā mēs izmantojam CentOS.
- JAVA : Sistēmā jāinstalē Java 8 pakotne.
- HADOOP : Jums nepieciešama Hadoop 2.7.3 pakete.
Instalējiet Hadoop
1. darbība: Noklikšķiniet šeit lai lejupielādētu Java 8 pakotni. Saglabājiet šo failu mājas direktorijā.
2. darbība: Izvelciet Java Tar failu.
Komanda : darva -xvf jdk-8u101-linux-i586.tar.gz
Att .: Hadoop instalēšana - Java failu izvilkšana
3. solis: Lejupielādējiet Hadoop 2.7.3 paketi.
Komanda : wget https://archive.apache.org/dist/hadoop/core/hadoop-2.7.3/hadoop-2.7.3.tar.gz
Att .: Hadoop instalēšana - Hadoop lejupielāde
4. solis: Izvelciet Hadoop darvas failu.
Komanda : darva -xvf hadoop-2.7.3.tar.gz
fibonacci kods c ++
Att .: Hadoop instalēšana - Hadoop failu izvilkšana
5. darbība: Pievienojiet Hadoop un Java ceļus bash failā (.bashrc).
Atvērt . bashrc failu. Tagad pievienojiet Hadoop un Java ceļu, kā parādīts zemāk.
Komanda : vi. basrc
Att .: Hadoop uzstādīšana - mainīgā vides iestatīšana
Pēc tam saglabājiet bash failu un aizveriet to.
Lai visas šīs izmaiņas piemērotu pašreizējam terminālim, izpildiet avota komandu.
Komanda : avots .bashrc
Att .: Hadoop instalēšana - vides mainīgo atsvaidzināšana
Lai pārliecinātos, ka Java un Hadoop ir pareizi instalēti jūsu sistēmā un vai tiem var piekļūt, izmantojot termināli, execute komandas java -version un hadoop version.
Komanda : java-versija
Att .: Hadoop instalēšana - Java versijas pārbaude
Komanda : hadoopversija
Att .: Hadoop instalēšana - Hadoop versijas pārbaude
6. solis : Rediģēt .
Komanda: CD hadoop-2.7.3 / etc / hadoop /
Komanda: ls
Visi Hadoop konfigurācijas faili atrodas hadoop-2.7.3 / etc / hadoop direktoriju, kā redzat zemāk esošajā momentuzņēmumā:
Att .: Hadoop instalēšana - Hadoop konfigurācijas faili
7. solis : Atvērt core-site.xml un rediģējiet zemāk minēto rekvizītu konfigurācijas tagā:
core-site.xml informē Hadoop dēmonu, kur NameNode darbojas klasterī. Tas satur Hadoop kodola konfigurācijas iestatījumus, piemēram, I / O iestatījumus, kas ir kopīgi HDFS un MapReduce.
Komanda : vi core-site.xml
Att.: Hadoop instalēšana - core-site.xml konfigurēšana
fs.default.name hdfs: // localhost: 9000
8. solis: Rediģēt hdfs-site.xml un rediģējiet zemāk minēto rekvizītu konfigurācijas tagā:
hdfs-site.xml satur HDFS dēmonu konfigurācijas iestatījumus (t.i., NameNode, DataNode, Secondary NameNode). Tas ietver arī HDFS replikācijas koeficientu un bloka lielumu.
Komanda : vi hdfs-site.xml
kā izmantot iterator Java
Att.: Hadoop instalēšana - hdfs-site.xml konfigurēšana
dfs.replication 1 dfs.pielaide nepatiesa
9. solis : Rediģēt mapred-site.xml failu un rediģējiet zemāk minēto rekvizītu konfigurācijas tagā:
mapred-site.xml satur MapReduce lietojumprogrammas konfigurācijas iestatījumus, piemēram, JVM skaitu, kas var darboties paralēli, kartētāja izmēru un reduktora procesu, procesam pieejamos procesora kodolus utt.
Dažos gadījumos mapred-site.xml fails nav pieejams. Tātad, mums ir jāizveido fails mapred-site.xmlizmantojot mapred-site.xml veidni.
Komanda : cp mapred-site.xml.template mapred-site.xml
Komanda : mēs mapred-vietne.xml.
Att.: Hadoop instalēšana - mapred-site.xml konfigurēšana
dzija mapreduce.framework.name
10. solis: Rediģēt dzija-site.xml un rediģējiet zemāk minēto rekvizītu konfigurācijas tagā:
dzija-site.xml satur ResourceManager un NodeManager konfigurācijas iestatījumus, piemēram, lietojumprogrammas atmiņas pārvaldības lielumu, programmu un algoritmu nepieciešamo darbību utt.
Komanda : vi dzija-site.xml
Att .: Hadoop uzstādīšana - dzijas-site.xml konfigurēšana
yarn.nodemanager.aux-services mapreduce_shuffle yarn.nodemanager.auxservices.mapreduce.shuffle.class org.apache.hadoop.mapred.ShuffleHandler
11. solis: Rediģēt hadoop-env.sh un pievienojiet Java ceļu, kā minēts zemāk:
hadoop-env.sh satur vides mainīgos, kas tiek izmantoti skriptā, lai palaistu Hadoop, piemēram, Java mājas ceļu utt.
Komanda : mēs hadoop-env.sh
Att.: Hadoop instalēšana - hadoop-env.sh konfigurēšana
12. darbība: Atveriet Hadoop mājas direktoriju un formatējiet NameNode.
Komanda : CD
Komanda : cd hadoop-2.7.3
Komanda : bin / hadoop purpose -formāts
Att .: Hadoop instalēšana - NameNode formatēšana
Tas formatē HDFS, izmantojot NameNode. Šī komanda tiek izpildīta tikai pirmo reizi. Failu sistēmas formatēšana nozīmē direktorija inicializēšanu, ko norādījis mainīgais dfs.name.dir.
Nekad formātējiet, palaidiet un palaidiet Hadoop failu sistēmu. Jūs zaudēsiet visus HDFS saglabātos datus.
13. solis: Kad NameNode ir formatēts, dodieties uz hadoop-2.7.3 / sbin direktoriju un sāciet visus dēmonus.
Komanda: cd hadoop-2.7.3 / sbin
Vai nu jūs varat sākt visus dēmonus ar vienu komandu, vai arī darīt to atsevišķi.
Komanda: ./ start-all.sh
Iepriekš minētā komanda ir kombinācija start-dfs.sh, start-yarn.sh & mr-jobhistory-daemon.sh
Vai arī visus pakalpojumus varat palaist atsevišķi, kā norādīts zemāk:
Sākuma nosaukumsMezgls:
NameNode ir HDFS failu sistēmas centrālais elements. Tas saglabā visu HDFS saglabāto failu direktoriju koku un izseko visus visā klasterī saglabātos failus.
Komanda: ./hadoop-daemon.sh sākuma mērķis
Att.: Hadoop instalēšana - StartNameNode
Sākt DataNode:
Startējot, DataNode izveido savienojumu ar Namenode, un tas atbild uz Namenode pieprasījumiem par dažādām darbībām.
atšķirības starp html un xml
Komanda: ./hadoop-daemon.sh sākuma datanode
Att .: Hadoop instalēšana - DataNode palaišana
Sākt ResourceManager:
ResourceManager ir galvenais, kas izšķir visus pieejamos klastera resursus un tādējādi palīdz pārvaldīt izplatītās lietojumprogrammas, kas darbojas YARN sistēmā. Tās uzdevums ir pārvaldīt katru NodeManagers un katras lietojumprogrammas ApplicationMaster.
Komanda: ./dzija-daemon.sh sākt resursu pārvaldnieku
Att.: Hadoop instalēšana - ResourceManager palaišana
Startēt NodeManager:
NodeManager katrā mašīnu ietvarā ir aģents, kurš ir atbildīgs par konteineru pārvaldību, to resursu izmantošanas uzraudzību un par to pašu ziņošanu ResourceManager.
Komanda: ./dzija-daemon.sh sāciet vadītāju
Att .: Hadoop instalēšana - NodeManager palaišana
Sākt JobHistoryServer:
JobHistoryServer ir atbildīgs par visu ar darba vēsturi saistīto klientu pieprasījumu apkalpošanu.
Komanda : ./mr-jobhistory-daemon.sh sāciet historyserver
14. solis: Lai pārbaudītu, vai visi Hadoop pakalpojumi ir izveidoti un darbojas, palaidiet zemāk esošo komandu.
Komanda: jps
Att .: Hadoop uzstādīšana - Daemonu pārbaude
15. solis: Tagad atveriet pārlūkprogrammu Mozilla un dodieties uz vietējais saimnieks : 50070 / dfshealth.html lai pārbaudītu NameNode saskarni.
Att .: Hadoop instalēšana - WebUI palaišana
Apsveicam, jūs esat veiksmīgi instalējis viena mezgla Hadoop kopu vienā piegājienā.Mūsu nākamajā emuārā , mēs apskatīsim, kā instalēt Hadoop arī vairāku mezglu kopā.
Tagad, kad esat sapratis, kā instalēt Hadoop, pārbaudiet Autors: Edureka, uzticams tiešsaistes mācību uzņēmums ar vairāk nekā 250 000 apmierinātu izglītojamo tīklu visā pasaulē. Edureka Big Data Hadoop sertifikācijas apmācības kurss palīdz izglītojamajiem kļūt par HDFS, dzijas, MapReduce, Pig, Hive, HBase, Oozie, Flume un Sqoop ekspertiem, izmantojot reāllaika lietošanas gadījumus mazumtirdzniecības, sociālo mediju, aviācijas, tūrisma, finanšu jomā.
Vai mums ir jautājums? Lūdzu, pieminējiet to komentāru sadaļā, un mēs ar jums sazināsimies.