Ja jūs jau esat no IT nozare , jums tas ir jāapzinās Lielie dati ir dienas saruna. Vai tas būtu, jaunie iesācēji, kas nāk klajā ar novatoriskiem biznesa modeļiem, vai jūsu kolēģi, kas pievienojas šiem jaunajiem uzņēmumiem zaļākas ganības šķiet, ka tas ir Lielie dati rūpniecībā.
Ja jūs domājat, kāpēc, tad es iesaku jums to izlasīt līdz pašām beigām, jo tas var būt pašizpētes emuārs, kas ved jūs uz to, kas jums paredzēts.
Tātad, kāpēc tas vissHYPEapkārt LIELI DATI?
Vai tas ir tikai cits domēns, kas īslaicīgi nogādā bēgļus no visiem citiem apgabaliem? Vai arī tas būs šeit tālsatiksmes braucienam?
Ja es pieņemtu minējumu, es teiktu, ka tas ne tikai būs pieejams tālsatiksmes braucieniem, bet arī lielo datu nozare būs tehnoloģiju attīstības epicentrā.
Jo viss ir parDATI!
Gluži kā SaulepaceļasnoAustrumiunkomplektiiekšRietumi, nepārtraukta skaitļošanas / neskaitļošanas ierīču izmantošana izraisīs nepārvaldāmu datu uzliesmojumu.
Kad šie dati pārsniedz slieksni, tos apstrādā Excel vai jebkura datu bāzu pārvaldības sistēma, mēs tos apzīmējam LIELI DATI .
Padomājiet, kurš bija pēdējais produkts, ko iegādājāties no Amazon? Kurš var būt nākamais produkts, ko varētu iegādāties, pamatojoties uz iepriekšējām darbībām? Atbildes uz šādiem jautājumiem tiek glabātas Big Data.
Vai aiz produkta ir pieaugoša tendence? Vai arī ir tendence samazināties? Vai klients, iegādājoties apavus, iegādāsies zeķes? Tie ir biznesa problēmu risināšanas jautājumi.
Šie jautājumi var būt viegli atbildēja izmantojot Lielo datu analīze .
Galu galā, kāda ir datu izmantošana, kad neesat analizējot tā?
Tātad, ir Big Datapilnīgi parAnalytics?Ne pilnībā, bet Analytics ir galvenā balva.
Citas galvenās Big Data straumes irUzglabāšanaunVadība.
Šeit jūs kā profesionālis varat dot savu ieguldījumu. Jūs varat uzņemties kāda no šīm lomām:
- Lielo datu inženieris
- Lielo datu risinājumu arhitekts
Pārliecinieties, ka ģenerētie lielie dati vienmēr ir pieejami un tos vēlāk var izmantot analīzei. Tātad tas mūs noved pie jautājuma & hellip
ko visi var nagios uzraudzīt
Kur tiek glabāti lielie dati?
Vai to var uzglabātExcel fails? Vai to var uzglabāt arelāciju datu bāzes sistēma?
Pie velna, nē!
Ja tā varēja būt, tad tā arī būtu!
Un sauksim kaut ko citu kopā. Varbūt kaut kas līdzīgsExcel dativaiRDBMS-dati: D
Un tas mūs atgrieztu 1. SOLIS : - Kāpēc lielos datus nevar pārvaldīt, izmantojot programmu Excel? Tā kāLielie dati ir pārāk karsti, lai Excel tos varētu apstrādāt. Un pat citas datubāzu pārvaldības sistēmas patiesībā.
Tātad, kāda ir alternatīva?
Lielo datu apstrādei mēs esam HADOOP . Arī jūs, iespējams, zināt šo vārdu. Bet, iespējams, jūs domājat, kā tieši tas darbojas?
Iesācējiem HADOOP ir produktsAPACHE fonds. Apache ir amerikāņu bezpeļņas organizācija, kas atbalsta atvērtā koda programmatūras izstrādi.
Hadoop ir definēts kā atvērtā koda Java balstīta programmēšanas sistēma, kas atbalsta ārkārtīgi lielu datu kopu apstrādi un glabāšanu izplatītā skaitļošanas vidē.
Ko Hadoops var darīt, bet Excel nevar?
Apstrādājiet un saprotiet nestrukturētus datus!Strukturētos datus, kas ir tabulas formātā vai citādi, var viegli apstrādāt. Excel to var izdarīt, tāpat kā jebkurš cits RDBMS.
Bet, kad lasāmība samazinās un dati nav strukturēti, lielie dati ir tieši šeitinstrumenti, piemēram, Hadooprezultāts. Nestrukturētu datu piemērs ir syslog . Attēla paraugs ir zemāk.
Šādi žurnāli noteikti nav vaicājami, izmantojot programmu Excel.
Hadoops, tāpat kā Big Data rīki, var izprast datus, kādi tie ir, atklājot modeļus un veidojot attiecības starp dažādiem laukiem. Un, kad datiem ir relatīvs pieskāriens, tas tā irGatavs Analytics.
Analytics ir tas, kas uzņēmējdarbību ietekmēs organizācijā! Jūsu karjera lielā mērā iegūs, piedaloties šajā lielo datu domēnā.
' Vai es varu to izveidot kā Hadoop-er? '
... var būt nākamais jautājums jūsu prātā. Un pareizi domājot, Big Data ir tirgus, kas ir tik karsts kā vienmēr un tikpat svarīgs kā vienmēr.
Bez Hadoop uzņēmumiem būs grūti strādāt ar lielajiem datiem. Un bez kvalificētiem profesionāļiem, piemēram, jūs, uzņēmumiem būs grūti strādāt ar Hadoop.
Ir ziņojums, kurā teikts, ka šajā jomā ir talantu deficīts. Kalendāru deficīts nozīmē, ka mazāk profesionāļu, bet liels pieprasījums. Un tas notiek globālā mērogā un neaprobežojas tikai ar noteiktu ģeogrāfiju.
Vai vēlaties numurus?
TO Makkinsija globālais institūts Pētījumā teikts, ka ASV trūks aptuveni 190 000 datu zinātnieku un 1,5 miljonu vadītāju un analītiķu, kuri varētu saprast un pieņemt lēmumus, izmantojot Big Data, līdz 2018. gadam.
Karjeras padoms jums? Sērfojiet, kad plūdmaiņas ir mazas!
Bet vai tu esi ierobežota tikai uz Hadoops ?
Ne īsti. Lielo datu apstrādei ir vairāki rīki, un Hadoop tiek uzskatīts par vienu no labākajiem. Bet ne katru reizi!
Ir reizes, kad Hadoop nav vispiemērotākais. Piemēram, ja esat netehniska persona, kas ne pārāk labi prot rakstīt MapReduce programmas.
Šādos gadījumos jūs varat izmantotTALEND, kas nodrošina grafisku lietotāja saskarni, lai jūs varētu darīt visu, ko jūs citādi būtu darījis ar MapReduce.
Vienkāršāku Java kodu rakstīšanai varat izmantotCŪKA.
Ja vēlaties izpildīt SQL līdzīgus vaicājumus Big Data, tadHIVEVar izmantot.
Ja vēlaties izmantot datus, kas saglabāti NoSQL datu bāzē, tadHBaseVar izmantot.
Analīzes veikšanai reāllaikā varat izmantotSPARK.
Tie ir lielo datu rīki, kas iet roku rokā ar Hadoop, tomēr tie neko neaizstāj Hadoop. Tie ir Hadoop papildinājumi Big Data.
Bez tam, ir vēl pāris rīku, piemēram, SQOOP, FLUME, OOZIE utt., Kurus var integrēt Hadoop sistēmā dažādu biznesa problēmu risināšanai.
Ko nozare sagaida no jums kā lielo datu eksperta?
Nozarei tas ir ļoti vajadzīgs LIELI DATU ARHITEKTI kas var izveidot pilnu datu risinājumu savām organizācijām. Lielo datu arhitekti ir tie, kuriem ir pieredze visos iepriekš minētajos rīkos.
Šeit ir kāda Edureka izglītojamā liecība kurss:
Kļūsti par sākot no Edureka Big Data And Hadoop sertifikācijas apmācības, kas palīdz izglītojamajiem kļūt par HDFS, dzijas, MapReduce, Pig, Hive, HBase, Oozie, Flume un Sqoop ekspertiem, izmantojot reāllaika lietošanas gadījumus mazumtirdzniecības, sociālo mediju, aviācijas, tūrisma, finanšu jomā .