Populārākās stropa komandas ar HQL piemēriem

Šajā emuāra ziņā apspriedīsim galvenās stropa komandas ar piemēriem. Šīs Hive komandas ir ļoti svarīgas, lai izveidotu pamatu .

Kas ir strops?

Apache Hive ir datu noliktavas sistēma, kas izveidota darbam ar Hadoop. To izmanto, lai vaicātu un pārvaldītu lielas datu kopas, kas atrodas sadalītajā krātuvē. Pirms kļūšanas par Apache Hadoop atvērtā pirmkoda projektu Hive radās Facebook. Tas nodrošina mehānismu, lai projektētu struktūru uz Hadoop datiem un pieprasītu šos datus, izmantojot SQL līdzīgu valodu, ko sauc par HiveQL (HQL).

Hive tiek izmantots, jo Hive tabulas ir līdzīgas relāciju datu bāzes tabulām. Ja jums ir zināma SQL, tas ir cakewalk. Daudzi lietotāji vienlaikus var vaicāt datus, izmantojot Hive-QL.

Kas ir HQL?

Hive nosaka vienkāršu SQL veida vaicājumu valodu, lai vaicātu un pārvaldītu lielas datu kopas ar nosaukumu Hive-QL (HQL). To ir viegli izmantot, ja pārzināt SQL valodu. Strops ļauj programmētājiem, kuri zina valodu, rakstīt pielāgotu MapReduce ietvaru, lai veiktu sarežģītāku analīzi.

Stropa izmantošana:

1. Apache Hive izplatītā krātuve.

2. Strops nodrošina rīkus, kas ļauj ērti iegūt datus / pārveidot / ielādēt (ETL)

3. Tas nodrošina dažādu datu formātu struktūru.

4. Izmantojot Hive, mēs varam piekļūt failiem, kas glabājas Hadoop Distributed File System (HDFS tiek izmantots, lai vaicātu un pārvaldītu lielās datu kopas, kas dzīvo) vai citās datu glabāšanas sistēmās, piemēram, Apache HBase.

Stropu ierobežojumi:

& bull Hive nav paredzēts tiešsaistes darījumu apstrādei (OLTP), tas tiek izmantots tikai tiešsaistes analītiskajai apstrādei.

& bull Hive atbalsta datu pārrakstīšanu vai aizturēšanu, bet neatjaunina un neizdzēš.

& bullis stropā apakšvaicājumi netiek atbalstīti.

Kāpēc stropu lieto neatkarīgi no cūkas?

Neskatoties uz to, ka Cūka ir pieejama, stropu lieto šādi:

• Hive-QL ir deklaratīva valodas līnija SQL, PigLatin ir datu plūsmas valoda.
• Cūka: datu plūsmas valoda un vide ļoti lielu datu kopu izpētei.
• Strops: izplatīta datu noliktava.

Stropa sastāvdaļas:

Metastore:

Hive saglabā stropu tabulu shēmu Hive Metastore. Metastore tiek izmantota, lai glabātu visu informāciju par galdiem un starpsienām, kas atrodas noliktavā. Pēc noklusējuma metastore tiek palaista tajā pašā procesā kā Hive pakalpojums, un noklusējuma metastore ir DerBy Database.

SerDe :

Serializer, Deserializer sniedz norādījumus, kā apstrādāt ierakstu.

Stropa komandas:

Datu definēšanas valoda (DDL)

DDL priekšraksti tiek izmantoti tabulu un citu datu bāzes objektu izveidošanai un modificēšanai.

Dodieties uz Hive apvalku, dodot komandu sudo hive un ievadiet komandu ‘Radīt datu bāzē vārds> lai izveidotu jauno datu bāzi stropā.

Lai uzskaitītu Hive noliktavas datu bāzes, ievadiet komandu ‘ rādīt datu bāzes ”.

Datubāze izveido stropu noliktavas noklusējuma atrašanās vietu. Cloudera, Hive datu bāzes veikalā / user / strops / noliktavā.

Datu bāzes izmantošanas komanda ir LIETOT

Kopējiet ievades datus HDFS no lokālā, izmantojot komandu copy from Local.

atšķirība starp hashmap un hashtable

Kad mēs izveidojam tabulu stropā, tā tiek izveidota stropa noliktavas noklusējuma vietā. - “/ user / hive / noliktava”, pēc tabulas izveides mēs varam pārvietot datus no HDFS uz stropu tabulu.

Šī komanda izveido tabulu ar “/user/hive/warehouse/retail.db”

Piezīme : retail.db ir datu bāze, kas izveidota Hive noliktavā.

Aprakstiet sniedz informāciju par tabulas shēmu.

Datu manipulācijas valoda (DML)

DML priekšraksti tiek izmantoti datu izgūšanai, glabāšanai, modificēšanai, dzēšanai, ievietošanai un atjaunināšanai datu bāzē.

Piemērs :

LOAD, INSERT paziņojumi.

Sintakse:

LOAD datu ievades ceļš uz tabulu [tablename]

Operācija Load tiek izmantota, lai datus pārvietotu uz atbilstošo Hive tabulu. Ja atslēgvārds vietējais ir norādīts, tad komandā slodze dos vietējās failu sistēmas ceļu. Ja atslēgvārds vietējais nav norādīts, mums jāizmanto faila HDFS ceļš.

Šeit ir daži piemēri komandai LOAD data LOCAL

Pēc datu ielādēšanas tabulā Hive mēs varam izmantot datu manipulācijas paziņojumus vai apkopot funkcijas, lai datus izgūtu.

Piemērs, lai uzskaitītu ierakstu skaitu:

Funkcija Count aggregate tiek izmantota, lai uzskaitītu kopējo ierakstu skaitu tabulā.

‘Izveidot ārēju’ tabulu:

The izveidot ārēju atslēgvārds tiek izmantots tabulas izveidei un nodrošina vietu, kur tabula tiks izveidota, lai Hive šai tabulai neizmantotu noklusējuma atrašanās vietu. An ĀRĒJĀ tabula norāda uz jebkuru HDFS vietu tās glabāšanai, nevis noklusējuma krātuvei.

Ievietot komandu:

The ievietot komandu izmanto, lai ielādētu datu Hive tabulu. Ievietojumus var veikt tabulā vai nodalījumā.

& bull INSERT OVERWRITE tiek izmantots, lai pārrakstītu esošos datus tabulā vai nodalījumā.

& bullis INSERT INTO tiek izmantots, lai datus pievienotu esošajiem datiem tabulā. (Piezīme: INSERT INTO sintakse darbojas no versijas 0.8)

Piemērs komandām “Partitioned By” un “Clustered By”:

‘Sadalīts ‘Tiek izmantots, lai sadalītu tabulu nodalījumā, un to var sadalīt grupās, izmantojot‘ Kopu izveidojis ‘Komanda.

Ievietojot datu stropa izmetšanas kļūdas, dinamiskā nodalījuma režīms ir stingrs un dinamiskais nodalījums nav iespējots (ar Džefs plkst dresshead vietne ). Tāpēc mums stropu čaulā ir jāiestata šādi parametri.

set hive.exec.dynamic.partition = true

Lai iespējotu dinamiskās starpsienas, pēc noklusējuma tā ir nepatiesa

iestatīt stropu.exec.dynamic.partition.mode = neierobežots

Sadalīšana tiek veikta pēc kategorijas, un to var sadalīt grupās, izmantojot komandu ‘Clustered By’.

Ar paziņojumu “Drop Table” tiek izdzēsti tabulas dati un metadati. Ārējo tabulu gadījumā tiek dzēsti tikai metadati.

Ar paziņojumu “Drop Table” tiek izdzēsti tabulas dati un metadati. Ārējo tabulu gadījumā tiek dzēsti tikai metadati.

Ielādējiet datu lokālo ievadceļu ‘aru.txt’ tabulas tabulas nosaukumā, un pēc tam mēs pārbaudām darbinieka1 tabulu, izmantojot komandu Atlasīt

Lai uzskaitītu tabulas ierakstu skaitu, izmantojot atlasi skaits (*) no txnrecords

Apkopošana:

Tabulas nosaukumā atlasiet skaitu (DISTINCT kategorija)

Šī komanda uzskaitīs dažādu kategoriju tabulas “cate”. Šeit ir 3 dažādas kategorijas.

Pieņemsim, ka ir vēl viena tabulas kategorija, kur f1 ir kategorijas lauka nosaukums.

Grupēšana:

Grupas komandu izmanto, lai rezultātu kopu sagrupētu pēc vienas vai vairākām kolonnām.

Atlasiet kategoriju, summu (summu) no txt ierakstu grupas pēc kategorijas

Tas aprēķina vienas kategorijas daudzumu.

Rezultāts viena tabula tiek glabāta citā tabulā.

Izveidojiet tabulas newtablename kā select * from oldtablename

Pievienoties komandai:

Šeit nosaukumā tiek izveidota vēl viena tabula ‘Pasta’

Pievienoties operācijai :

Savienojuma darbība tiek veikta, apvienojot laukus no divām tabulām, izmantojot katrai kopīgās vērtības.

Kreisais ārējais savienojums :

Kreisā ārējā savienojuma (vai vienkārši kreisās savienojuma) rezultāts tabulām A un B vienmēr satur visus “kreisās” tabulas (A) ierakstus, pat ja pievienošanās nosacījums tabulā “labajā pusē” neatrod nevienu atbilstošu ierakstu (B).

Labais ārējais savienojums :

Labais ārējais savienojums (vai labais savienojums) ļoti līdzinās kreisajam ārējam savienojumam, izņemot galdu apstrādi pretēji. Katra rinda no labās tabulas (B) vismaz vienu reizi parādīsies pievienotajā tabulā.

Pilnīgi pievienojieties :

Apvienotajā tabulā būs visi ieraksti no abām tabulām, un aizpildiet NULLs par trūkstošajiem mačiem abās pusēs.

Kad tas izdarīts ar stropu, mēs varam izmantot komandu atmest, lai izietu no stropa čaumalas.

Strops ir tikai daļa no lielās puzles ar nosaukumu Big Data un Hadoop. Hadoops ir daudz kas vairāk nekā tikai strops. Noklikšķiniet zemāk, lai redzētu, kādas citas prasmes jums vajadzētu apgūt Hadoop.

Vai mums ir jautājums? Lūdzu, pieminējiet to komentāru sadaļā, un mēs ar jums sazināsimies.

Saistītās ziņas:

7 veidi, kā lielo datu apmācība var mainīt jūsu organizāciju

Stropu datu modeļi