Hadoop Job Tacker
Job Tracker ir galvenais dēmons gan darba resursu pārvaldībai, gan darba plānošanai / uzraudzībai. Tas darbojas kā sakars starp Hadoop un jūsu lietojumprogrammu.
Process
Pirms darba iesniegšanas klientam lietotājs vispirms kopē failus izplatītajā failu sistēmā (DFS). Pēc tam klients saņem šos ievades failus. Lietotājs saņems sadalījumus vai blokus, pamatojoties uz ievades failiem.Klients varējaizveidot šķelšanos vai blokus cilvēkāner to prefjo tam ir noteikti apsvērumi. Ja tiek veikta visu datu analīze, dati tiks sadalīti sadalījumos. Faili netiek kopēti, izmantojot klientu, bet gan kopēti, izmantojot Flume vai Sqoop vai jebkuru citu ārēju klientu.
Kad faili ir iekopēti DFS un klients mijiedarbojas ar DFS,sadalījumi darbosies ar MapReduce job. Darbs tiek iesniegts, izmantojot darba izsekotāju. Darba izsekotājs ir galvenais dēmons, kas darbojas tajā pašā mezglā, kas darbojasskrienšiem vairākiem darbiem datu mezglos. Šie dati gulēs uz dažādiem datu mezgliem, bet par to rūpēties ir darba izsekotāja pienākums.
Pēc tam, kad klients iesniedzdarba izsekotājs, darbs tiek inicializēts darba rindā, un darba izsekotājs izveido kartes un samazina. Pamatojoties uz programmu, kas ietverta kartes funkcijā un samazināšanas funkcijā, tā izveidos kartes uzdevumu un samazinās uzdevumu. Šie divi darbosies ievades sadalījumos. Piezīme. Kad to izveido klienti, šajā ievades sadalījumā ir iekļauti visi dati.
kuri no šiem ir kontroles paziņojumu piemēri?
Katrā ievades sadalījumā darbojas kartes uzdevums, un kartes uzdevuma izeja nonāk redukcijas uzdevumā. Darba izsekotājs palaiž trasi uz konkrētiem datiem. To var atkārtot vairākas reizes, tāpēc tas izvēlas vietējos datus un palaiž uzdevumu konkrētajā uzdevumu izsekotājā. Uzdevumu izsekotājs ir tas, kurš faktiski izpilda uzdevumu datu mezglā. Darba izsekotājs nokārtosinformācijuuzdevumu izsekotājam un uzdevumu izsekotājs darbinās darbu datu mezglā.
Kad darbs ir piešķirts uzdevumu izsekotājam, ar katru uzdevumu izsekotāju un darba izsekotāju ir saistīta sirdsdarbība. Tas sūta signālus, lai noskaidrotu, vai datu mezgli joprojām ir dzīvi. Abi bieži tiek sinhronizēti, jo ir iespēja mezgliem izgaist.
kas ir java mainīgais
Vai mums ir jautājums? Pieminiet tos komentāru sadaļā, un mēs ar jums sazināsimies.
Saistītās ziņas: