Viena no Hadoop ietvara pievilcīgākajām iezīmēm ir tā preču aparatūras izmantošana . Tomēr tas izraisa biežas DataNode avārijas Hadoop klasterī. Vēl viena pārsteidzoša Hadoop Framework iezīme ir mēroga vieglums atbilstoši straujajam datu apjoma pieaugumam . Šo divu iemeslu dēļ viens no Hadoop administratora visizplatītākajiem uzdevumiem ir komisija (Pievienot) un ekspluatācijas pārtraukšana (Noņemt) datu mezglus Hadoop klasterī.
def __init__
Mezglu nodošana ekspluatācijā un ekspluatācijas pārtraukšana Hadoop klasterī:
Augšējā diagrammā parādīts soli pa solim process DataNode ekspluatācijas pārtraukšanai klasterī.
Pirmais uzdevums ir atjaunināt izslēgt ‘Faili abiem HDFS (hdfs-site.xml) un MapReduce (mapred-site.xml).
Fails “izslēgt”:
- darba meklētājam satur to saimniekdatoru sarakstu, kuri darba meklētājam būtu jāizslēdz. Ja vērtība ir tukša, neviens resursdators netiek izslēgts.
- par Namenode satur to saimniekdatoru sarakstu, kuriem nav atļauts izveidot savienojumu ar Namenode.
Šeit ir faila hdfs-site.xml un mapred-site.xml izslēgšanas faila konfigurācijas paraugs:
hdfs-site.xml
dfs.hosts.exclude
/ home / hadoop / izslēdz
taisnība
mapred-site.xml
mapred.hosts.exclude
/ home / hadoop / izslēdz
taisnība
Piezīme: Jānorāda pilns failu ceļš.
Līdzīgi mums ir faili ‘iekļaut’:
- darba meklētājam satur mezglu sarakstu, kas var izveidot savienojumu ar JobTracker. Ja vērtība ir tukša, visi resursdatori ir atļauti.
- par Namenode satur to saimnieku sarakstu, kuriem ir atļauts izveidot savienojumu ar Namenode. Ja vērtība ir tukša, visi resursdatori ir atļauti.
“ dfsadmin ' un ' mradmin ’Komandas atsvaidzina konfigurāciju ar izmaiņām, lai viņi apzinātos jauno mezglu.
“ vergi Galvenā servera failā ir visu datu mezglu saraksts. Tas ir arī jāatjaunina, lai nodrošinātu jebkādus jautājumus nākotnē Hoopoop dēmons start / stop.
Svarīgs solis datu mezglu komisijas procesā ir palaist Cluster Balancer.
> hadoop balansētājs - slieksnis 40
Līdzsvarotājs mēģina nodrošināt līdzsvaru līdz noteiktam slieksnim starp datu mezgliem, kopējot bloku datus no vecākiem mezgliem uz jaunizveidotajiem mezgliem.
Tātad, jūs varat darīt šādi - Ekspluatācijā nodošana un Ekspluatācijas pārtraukšana Mezgli Hadoop klasterī.
Vai mums ir jautājums? Lūdzu, pieminējiet to komentāru sadaļā, un mēs ar jums sazināsimies.
Saistītās saites: