Kad es biju jaunāks, man patika filmu sērijas Zvaigžņu kari. Man tas tik ļoti patika, ka man bija katra no tām katra videokasete. Es tos mēdzu skatīties vēl un vēl. Tad pienāca DVD atskaņotāju laiks, un man šīs filmas atkal bija jāiegūst DVD. Man nebija šaubu par visa komplekta atkārtotu iegādi DVD, jo es vēlējos izbaudīt jauno tehnoloģiju un turpināt baudīt arī savas iecienītās filmas. Lietas bija lieliskas, līdz parādījās vēl viena jauna tehnoloģija - Blu-ray. Pērkot filmas jau divas reizes, es necerēju tās iegādāties no jauna. Kādu laiku es nemēģināju sevi ‘atjaunināt’, domājot, ka bez šīs tehnoloģijas man viss izdosies. Un man veicās labi. Tas tik un tā neietekmēja manu dzīvi. Bet es redzēju tendences izmaiņas un nevarēju kopīgot savas filmas ar draugiem, tāpat kā viņi darīja viens ar otru. Es tiešām jutos atstumta.
Beidzot es izgāju un dabūju filmu Blu-ray. Es to atceros nevis tāpēc, ka man patīk filma, bet gan tāpēc, ka videoklipa kvalitāte bija prātā. Un visam virsū es ieguvu visu filmu komplektu vienā Blu-ray diskā.
Nepieciešamība vai vēlme pastāvīgi atjaunoties ir visspēcīgākā, ja runa ir par mūsu profesiju, jo riski ir lielāki. Ir kļuvis svarīgi sekot līdzi savai spēlei.
4 praktiski iemesli, kāpēc mācīties Hadoop 2.0:
Lai cik nenovēršami tas būtu, mūsu profesionālās darbības atjaunināšana ir kļuvusi par svarīgu mūsu dzīves daļu. Lai cik biedējoši tas izklausītos, nav jābaidās, jo tehnoloģijas patiesībā nemainās tik ātri vai krasi. Bet sarunas un informācija par šīm tehnoloģijām un lietām, ko mēs ar tām varam darīt, kļūst pamanāmāka. Šeit ir daži iemesli, kāpēc jums vajadzētu būt atjauninātam:
# 1: Neaizraujies
Nepievēršot uzmanību jaunākajam tehnoloģijas atjauninājumam, jūs varat izskatīties kā briedis, kurš ir nokļuvis lukturī. Ne gluži starojošs priekšstats par jūsu profesionālajām iespējām. Ja esat lietas kursā, vienaudži jūs cienīs par profesionālajām prasmēm. Iespējams, ka nevajadzēs ieviest katru jaunu lietu, ko uzzināt, taču ir svarīgi apzināties atjauninājumus.
Piemēram, kad notiek saruna par Hadoop, varat paziņot saviem vienaudžiem, ka, izmantojot HTTP starpniekserveri, Hadoop 2.5.0 ir autentifikācijas uzlabojumi. Un arī tajā pašā Hadoop versijā ir paredzēts rakstīt tieši uz Graphite.
def __init__
Kad organizācijas domā pāriet uz Hadoop, ir svarīgi būt visjaunāko atjauninājumu sarakstā. Un ‘zināšana’ var radīt milzīgas pārmaiņas jūsu karjerā.
# 2: konkurences mala
Tiek cienīti profesionāļi, kuri ir prasmīgi savā jomā. Un mūsdienīga uzturēšana ir labākais veids, kā tikt galā. Nepieciešamība atjaunoties atspoguļo jūsu aizraušanos ar savu darbu. Attīstot zināšanas savā darbā un nozarē, jūs nopelnīsit apkārtējo cilvēku uzticību un cieņu. No vadības viedokļa tas ir nenovērtējami!
Pat ja jūsu organizācija joprojām strādā ar Hadoop 1.0, zinot visas jaunākās Hadoop 2 funkcijas, jūs tiksit uzturēts uz pareizā ceļa, jo tas ir salīdzinoši jauns un noteikti labāks. Ja esat pirmais, kurš to iemācījies, jūs iegūtu priekšrocības pār saviem vienaudžiem.
# 3: jaunas iespējas
Tā ir bēdīga realitāte, ka mūsu pašreizējā loma nemitīgi mainās. Ar laiku nāk papildu pienākumi un iespējas veikt jaunus uzdevumus. Sekojot līdzi nozares tendencēm, jūs varat vislabāk izmantot šīs iespējas.
Tādi uzņēmumi kā Macy's, Lockheed Martin, California Creative Solutions, Capital One, CSpring, CACI International Inc., Oracle, Yahoo !, American Express, BlueHawk, Aetna, Lawrence Livermore National Laboratory un daudzi citi meklē cilvēkus, kuri ir prasmīgi jaunākajās Hadoop 2, tāpat kā YARN.
# 4: pieņemt labākus lēmumus
Papildu informācija ļaus jums izdarīt apzinātu izvēli un labākus lēmumus. Tas palīdzēs jums atpazīt iespējas un pievienot vērtību jūsu organizācijas stratēģijai.
Hadoop 2 ir funkcijas, kas uzlabo ātrumu, kā arī samazina izmaksas. Iesakot iespējas uzlabot veiktspēju un palielināt ātrumu, noteikti var palielināt organizācijas produktivitāti. Šeit ir dažas Hadoop 2 funkcijas, kas organizācijai nāks par labu, un to ierosināšana veicinās arī jūsu karjeru.
Atbalsts Hadoop darbināšanai Microsoft Windows
Vienkāršota MapReduce bināro failu izplatīšana, izmantojot HDFS, YARN Distributed Cache.
Uzlabots atbalsts jaunām YARN lietojumprogrammām ar Application History Server un Application Timeline Server
Pilnīgs HTTPS atbalsts HDFS
Kerberos integrācija YARN laika skalas veikalā.
Atbalsts neviendabīgai glabāšanas hierarhijai HDFS.
HDFS datu atmiņā ievietotā kešatmiņa ar centralizētu administrēšanu un pārvaldību.
Vienkāršota MapReduce bināro failu izplatīšana, izmantojot HDFS, YARN Distributed Cache.
Pastāvīgi atjauninājumi ir ne tikai praktiski iemesli. Ir arī tehniski iemesli. Hadoopam ir daudzas funkcijas, kas ir izdevīgas organizācijām. Padziļināti apskatot tos, jūs gūsiet skaidru priekšstatu par to, kas ir izdevīgi.
Kāds ir jaunākais Hadoop atjauninājums?
Katrs produkts iziet dažādus izlaišanas posmus un nāk klajā ar dažādām tā versijām. Hadoop nav izņēmums un ir nācis klajā ar Hadoop 2.0. Apache fonds ir nācis klajā ar nākamajām Hadoop versijām, piemēram, Hadoop 2.1.0, Hadoop 2.4.0, un ir sasniedzis Hadoop 2.5.1, kas ir jaunākā versija, kas izlaista 2014. gada septembrī.
Kāpēc Hadoop 2 tika izlaists?
Ar jauno versiju nāk pievienotās funkcijas un novērstas kļūdas. Tāpēc katru reizi, kad izmantojat konkrētu Hadoop versiju un domājat, ka var pievienot noteiktu funkciju vai ir jānovērš dažas kļūdas, jūs par to informējat Apache Foundation puišus. Šie puiši savukārt strādā pie tā un dod jums labāku produktu nākamajā versijā.
Hadoop 2 - ne tikai skaitlis
Hadoop 2 nav tikai Hadoop jaunākā versija. Kopumā tā ir otrās paaudzes arhitektūra. Arun Murthy, Hadoop izplatītāja Hortonworks dibinātājs un arhitekts, uzsver, ka atšķirība ir svarīga, jo ir nepieciešams ievērojams pārbūves apjoms, kas nepieciešams, lai Hadoop pārvietotu ārpus sērijveida apstrādes un reāllaika analīzes pasaulē.
Apspriedīsim, cik Hadoop 2.0 atšķiras no tā priekšgājēja Hadoop 1.0. Acīmredzot vēlāk izdotā versija būs pārāka par iepriekšējo versiju. Šie ir četri galvenie Hadoop 2.0 uzlabojumi salīdzinājumā ar Hadoop 1.x:
HDFS federācija - NameNode horizontālā mērogojamība
NameNode Augsta pieejamība - NameNode vairs nav viens kļūmes punkts
Dzija - spēja apstrādāt terabaitus un petabaitus HDFS pieejamos datus, izmantojot programmas Non-MapReduce, piemēram, MPI, GIRAPH
Resursu pārvaldnieks - sadala divas pārslogotās JobTracker funkcijas (resursu pārvaldība un darba plānošana / uzraudzība) divos atsevišķos dēmonos: globālā resursu pārvaldniekā un lietojumprogrammā ApplicationMaster
Ir papildu funkcijas, piemēram, Capacity Scheduler (Enable Multi-rentancy support in Hadoop), Data Snapshot, Windows atbalsts, NFS piekļuve, kas ļauj palielināt Hadoop ieviešanu nozarē, lai atrisinātu Big Data problēmas.
Hadoop 2.X vs Hadoop 1.X
Veicam nelielu salīdzinājumu un redzēsim, kādos veidos Hadoop 2.0 ir labāks un atšķiras no Hadoop 1.0
Kāpēc Hadoop 2 dod priekšroku nevis Hadoop 1.0?
Hadoop 2.0 piedāvā veiktspējas uzlabojumus, kas dod labumu saistītajām tehnoloģijām Hadoop ekosistēmā. Papildus HDFS un otrās paaudzes arhitektūras (YARN) revolucionārajām funkcijām ir vēl vairāk un vairāk iemeslu, kāpēc priekšroka dodama Hadoop 2, nevis Hadoop 1.0:
Hadoop 2 vairs nav valodas ierobežojumu. Tas nozīmē, ka plašu profesionāļu loku tagad var izmantot Hadoop.
Izmantojot Hadoop 2, tiek pārvarēti šķēršļi, piemēram, MapReduce kodētāju trūkums.
2 reizes ātrāk nekā Hadoop 1.0
2 reizes lielāks par IA ar esošo aparatūru.
Izmantojot YARN, lietojumprogrammu saskarne ir daudz atvērtāka un elastīgāka.
Hadoop 2 paplašina Hadoop izmantošanas iespējas Big Data projektos.
Izmantojot Hadoop 2, izstrādātāji tagad var veikt ļoti daudz dažādu datu savākšanas uzdevumu, kas pārsniedz Hadoop iepriekšējo sērijveida apstrādes jomu.
Piedāvā jaunas iespējas informācijas pārvaldniekiem un novērš trūkumus iepriekšējās versijās.
Šim jaunajam laidienam ir unikāla iezīme, kā vienā un tajā pašā Hadoop klasterī palaist vairākas slodzes.
Hadoop vairs nav ierobežots ar vienu funkciju. Tās pielietojums tagad pārsniedz HDFS un MapReduce.
Galvenie YARN ieguvumi
Mēs zinām, ka YARN ir otrās paaudzes arhitektūra. Apskatīsim, kas padara to tik lielisku.
Mērogs
Jauni programmēšanas modeļi un pakalpojumi
Uzlabota kopu izmantošana
Veiklība
Daudz vairāk nekā Java
Un vēl daudz vairāk
Pieprasījums pēc Hadoop 2 prasmēm
Organizācijas tagad uzsāk vai eksperimentē ar Hadoop 2. Līdz ar to rodas vajadzība pēc profesionāļiem, kuri ir kvalificēti Hadoop 2. Daudzas organizācijas jau ir sākušas iekšēji meklēt cilvēkus strādāt ar Hadoop. Ir skaidras norādes, ka YARN pieaug un galu galā aizstās pieprasījumu pēc MapReduce prasmēm.
Šeit ir daži viedokļi par pašreizējo un prognozēto pieprasījumu pēc Hadoop iemaņām:
Pēc Gartner analītiķu domām, Hadoop 2 ir būtiska attīstība, jo lielie uzņēmumi visā pasaulē ir konstatējuši, ka Hadoop ir spēļu mainītājs lielo datu pārvaldībā.
Saskaņā ar Ērika Kavanaga, no grupas Bloor, Hadoop 2.0 ir ieguvis pievilcību starp informācijas darbiniekiem, kuri vēlas izkļūt no lielajiem datiem.
Hadoop 2.0 ieviešana turpina pieaugt un tagad nonāk brieduma stadijā.
Organizācijas apzinās YARN priekšrocības un ir par to sajūsmā.
Šeit ir momentuzņēmums par Hadoop 2.0 / YARN darba piedāvājumiem Patiešām.com
Kurš pāriet uz Hadoop 2 vai jau ir?
Yahoo:
Yahoo! , līderis visā Hadoop ir ieviesis YARN (0,23x). Saskaņā ar Murthy teikto, Yahoo 35 000 mezglu kopa tagad apstrādā 130-150 darba vietas dienā, salīdzinot ar 50-60 darba vietām pirms YARN.
Runājot par zvaigžņu sniegumu, Mērtijs citē: 'Kad jums ir 2x vairāk nekā 35 000 līdz 40 000 mezglu, tas ir fenomenāli'. Viņš arī piebilda: 'Tas ir diezgan pievilcīgs stāsts, lai pastāstītu CIO, ka, ja jūs vienkārši jaunināsiet savu programmatūru no Hadoop 1 uz Hadoop 2, jūs redzēsiet, ka jūsu darbavietas 2 reizes uzlabo caurlaides spēju.'
eBay:
eBay ir viena no lielākajām Hadoop kopām nozarē, kur dati ir petabaiti. Viņi ir arī migrējuši savus kopas uz Hadoop 2.
Secinājums:
Tā kā Hadoop 2 ir nobriedis un to ir vieglāk ieviest, viņi pat pārliecina skeptiķus, un arvien vairāk organizāciju pāriet uz Hadoop 2.0. Ir pamatoti iemesli, lai izvairītos no 1.x versijām. Bet ar Hadoop 2 pat neticīgie to apsver, jo to var izmantot visdažādākajiem lietojumiem. Apgūstot Hadoop 2.0 un ieviešot to, lai veiktu aprēķinus par Big Data, jūs atvērsiet vārtus tehniski attīstītai un finansiāli izdevīgai karjerai.
Vai mums ir jautājums? Lūdzu, pieminējiet tos komentāru sadaļā, un mēs ar jums sazināsimies.
Saistītās ziņas: