Relāciju datu bāzes ilgu laiku bija pietiekamas, lai apstrādātu mazas vai vidējas datu kopas. Bet kolosālais datu pieauguma temps padara tradicionālo pieeju datu glabāšanai un iegūšanai neiespējamu. Šo problēmu risina jaunākas tehnoloģijas, kas var apstrādāt lielos datus. Hadoop, Hive un Hbase ir populāras platformas šāda veida lielu datu kopu darbināšanai. NoSQL vai ne tikai SQL datu bāzes, piemēram, MongoDB, nodrošina mehānismu datu glabāšanai un izgūšanai zaudētāju konsekvences modelī ar šādām priekšrocībām:
- Horizontāla mērogošana
- Augstāka pieejamība
- Ātrāka piekļuve
MongoDB inženieru komanda nesen atjaunināja MongoDB savienotāju Hadoop, lai būtu labāka integrācija. Tas Hadoop lietotājiem atvieglo:
- Integrējiet reāllaika datus no MongoDB ar Hadoop, lai veiktu dziļu, bezsaistes analīzi.
- Savienotājs atklāj Hadoop's MapReduce analītisko spēju dzīvot lietojumprogrammas datus no MongoDB, ātrāk un efektīvāk palielinot lielo datu vērtību.
- Savienotājs parāda MongoDB kā ar Hadoop saderīgu failu sistēmu, kas ļauj MapReduce darbam lasīt tieši no MongoDB, vispirms to nekopējot uz HDFS (Hadoop failu sistēma), tādējādi novēršot nepieciešamību pārvietot terabaitus datu visā tīklā.
- MapReduce darbavietas var nodot vaicājumus kā filtrus, tādējādi izvairoties no nepieciešamības skenēt visas kolekcijas, kā arī var izmantot MongoDB bagātīgās indeksēšanas iespējas, tostarp ģeotelpisko, teksta meklēšanas, masīva, salikto un reto indeksu priekšrocības.
- Lasot no MongoDB, Hadoop darbu rezultātus var arī ierakstīt MongoDB, lai atbalstītu reāllaika darbības procesus un ad-hoc vaicājumus.
Hadoop un MongoDB lietošanas gadījumi:
Apskatīsim augsta līmeņa aprakstu par to, kā MongoDB un Hadoop var iekļauties tipiskā Big Data kaudzē. Galvenokārt mums ir:
- MongoDB izmanto kā Reāllaika “operatīvs” datu krājums
- Hadoop par bezsaistes pakešu datu apstrāde un analīze
Lasiet tālāk, lai uzzinātu, kāpēc un kā MongoDB izmantoja tādi uzņēmumi un organizācijas kā Aadhar, Shutterfly, Metlife un eBay .
MongoDB un Hadoop pielietošana sērijveida apkopošanā:
Lielākajā daļā scenāriju datu analīzei pietiek ar iebūvēto apkopošanas funkcionalitāti, ko nodrošina MongoDB. Tomēr dažos gadījumos var būt nepieciešama ievērojami sarežģītāka datu apkopošana. Šeit Hadoop var nodrošināt spēcīgu sistēmu sarežģītai analīzei.
Šajā scenārijā:
- Datus iegūst no MongoDB un apstrādā Hadoop, izmantojot vienu vai vairākus MapReduce darbus. Datus var iegūt arī no citām vietām šajās MapReduce darbavietās, lai izstrādātu vairāku datu avota risinājumu.
- Pēc tam šo MapReduce darbu rezultātus var rakstīt atpakaļ uz MongoDB, lai veiktu vaicājumus vēlāk, kā arī jebkurai ad hoc analīzei.
- Tāpēc lietojumprogrammas, kas izveidotas virs MongoDB, var izmantot informāciju no pakešu analīzes, lai sniegtu gala klientam vai iespējotu citas pakārtotās funkcijas.
Pielietojums datu glabāšanā:
Parasti ražošanas iestatījumos lietojumprogrammas dati var atrasties vairākos datu krātuvēs, katram no tiem ir sava vaicājuma valoda un funkcionalitāte. Lai samazinātu šo scenāriju sarežģītību, Hadoop var izmantot kā datu noliktavu un darboties kā centralizētu krātuvi datiem no dažādiem avotiem.
Šāda veida scenārijā:
- Periodiska MapReduce darbu ielādes dati no MongoDB uz Hadoop.
- Tiklīdz dati no MongoDB un citiem avotiem ir pieejami Hadoop, var pieprasīt lielāku datu kopu.
- Datu analītiķiem tagad ir iespēja izmantot vai nu MapReduce, vai Pig, lai izveidotu darbavietas, kas vaicā lielākas datu kopas, kurās iekļauti dati no MongoDB.
Komanda, kas strādā pie MongoDB, ir nodrošinājusi, ka tā ar bagātīgu integrāciju ar lielo datu tehnoloģijām, piemēram, Hadoop, spēj labi integrēties lielo datu kaudzē un palīdzēt atrisināt dažus sarežģītus arhitektūras jautājumus datu glabāšanas, izguves, apstrādes, apkopošanas un noliktavu jautājumos. . Sekojiet līdzi mūsu gaidāmajam ierakstam par karjeras iespējām tiem, kas Hadoop aizņem ar MongoDB. Ja jūs jau strādājat ar Hadoop vai vienkārši uzņemat MongoDB, apskatiet mūsu piedāvātos kursus MongoDB
rubīns uz sliedēm darba tirgus