Palielinot Hadoop ieviešanu tradicionālajos uzņēmuma IT risinājumos un palielinot Hadoop ieviešanu ražošanas vidē, nepieciešamība pēc Hadoop operāciju un administrācijas ekspertiem rūpējas par lielajām Hadoop kopām.
Hadoop administratora pienākumi:
- Atbildīgs par Hadoop infrastruktūras ieviešanu un pastāvīgu administrēšanu.
- Saskaņošana ar sistēmu inženieru komandu, lai ierosinātu un izvietotu jaunas aparatūras un programmatūras vides, kas nepieciešamas Hadoop un paplašinātu esošo vidi.
- Darbs ar datu piegādes komandām, lai iestatītu jaunus Hadoop lietotājus. Šis darbs ietver Linux lietotāju iestatīšanu, Kerberos direktoru iestatīšanu un HDFS, Hive, Pig un MapReduce piekļuves pārbaudi jaunajiem lietotājiem.
- Klastera uzturēšana, kā arī mezglu izveide un noņemšana, izmantojot tādus rīkus kā Ganglia, Nagios, Cloudera Manager Enterprise, Dell Open Manage un citus rīkus.
- Hadoop kopu un Hadoop Map veiktspējas regulēšanaSamaziniet rutīnas.
- Ekrāna Hadoop klastera darbu izpilde un jaudas plānošana
- Monitor Hadoop klastera savienojamību un drošību
- Pārvaldiet un pārskatiet Hadoop žurnālfailus.
- Failu sistēmas pārvaldība un uzraudzība.
- HDFS atbalsts un uzturēšana.
- Cītīgi sadarbojoties ar infrastruktūras, tīkla, datu bāzes, lietojumprogrammu un biznesa informācijas komandām, lai garantētu augstu datu kvalitāti un pieejamību.
- Sadarbība ar lietojumprogrammu komandām, lai nepieciešamības gadījumā instalētu operētājsistēmas un Hadoop atjauninājumus, ielāpus, versiju jauninājumus.
- Pārdevēja eskalācijas kontaktpunkts
Hadoop administrācija ir atalgojoša un ienesīga karjera ar daudzām izaugsmes iespējām. Ja iepriekš uzskaitītie darba pienākumi jūs interesē, ir pienācis laiks pilnveidoties Hadoop administrācijā un pāriet uz Hadoop Admin karjeras ceļu.
fibonacci sērijas kods java
DBA pienākumi, ko veic Hadoop administrators:
- Datu modelēšana, projektēšana un ieviešana, pamatojoties uz atzītiem standartiem.
- Programmatūras instalēšana un konfigurēšana.
- Datu bāzes dublēšana un atkopšana.
- Datu bāzes savienojamība un drošība.
- Veiktspējas uzraudzība un regulēšana.
- Diska vietas pārvaldība.
- Programmatūras ielāpi un jauninājumi.
- Automatizējiet manuālos uzdevumus.
DWH izstrādes pienākumi, ko veic Hadoop administrators:
DWH administratora darba pienākumos ietilpst pakešdarbu izstrāde, testēšana un uzraudzība šādiem uzdevumiem:
- Nodrošiniet atsauces integritāti.
- Veikt primārās atslēgas izpildi.
- Paveiciet datu pārlabojumus.
- Savlaicīgi ielādējiet lielus datu apjomus.
Tagad, kad jūs zināt par Hadoop administratora darba pienākumiem, apskatīsim iemaņas, kas nepieciešamas, lai būtu viens.
Prasmes, kas nepieciešamas, lai kļūtu par Hadoop administratoru:
- Vispārīgas darbības zināšanas, piemēram, labas problēmu novēršanas prasmes, sistēmas jaudas izpratne, vājās vietas, atmiņas pamati, centrālais procesors, OS, atmiņa un tīkli.
- Hadoop prasmes, piemēram, HBase, Hive, Pig, Mahout utt.
- Būtiskākās prasības ir šādas: Viņiem jāspēj izvietot Hadoop klasteris, pievienot un noņemt mezglus, sekot līdzi darbiem, uzraudzīt kritiskās klastera daļas, konfigurēt vārda-mezgla augstu pieejamību, ieplānot un konfigurēt to, kā arī veikt dublējumus.
- Labas zināšanas par Linux, jo Hadoop darbojas uz Linux.
- Iepazīšanās ar atvērtā koda konfigurācijas pārvaldību un izvietošanas rīkiem, piemēram, Leļļu vai Šefpavārs un Linux skripti.
- Zināšanas par galveno Java lietojumprogrammu problēmu novēršanu ir plus.
Edureka ir īpaši kurējusi kursu par Hadoop administrēšanu. Noklikšķiniet uz pogas zemāk, lai sāktu darbu ar Hadoop Administration un uzzinātu, kā kurss palīdz jums kļūt par Hadoop administratoru.
Saistītās ziņas:
skaitļa maiņa java