Úvod do príkazov úľa

Príkaz Hive je nástroj infraštruktúry údajového skladu, ktorý je umiestnený na najvyššom mieste Hadoop a sumarizuje veľké dáta. Spracováva štruktúrované údaje. Uľahčuje vyhľadávanie a analýzu údajov. Príkaz Úľ sa tiež nazýva „schéma pri čítaní“. Úľ neoveruje údaje pri načítaní, k overeniu dôjde iba pri vydaní dopytu. Táto vlastnosť úľa umožňuje rýchle načítanie. Je to ako kopírovanie alebo presunutie súboru bez akýchkoľvek obmedzení alebo kontrol. Úľ bol prvýkrát vyvinutý spoločnosťou Facebook. Apache Software Foundation to prevzala neskôr a ďalej rozvíjala.

Tu sú komponenty príkazu Hive:

Obr. 1. Súčasti úľa

https://www.developer.com/

Nižšie sú uvedené príkazy Funkcie Úľa:

  1. Predajne úľov sú nespracované a spracované dátové súbory v Hadoope.
  2. Je určený na spracovanie transakcií OnLine (OLTP). OLTP sú systémy, ktoré umožňujú veľké objemy údajov za veľmi kratší čas bez spoliehania sa na jediný server.
  3. Je rýchla, škálovateľná a spoľahlivá.
  4. Tu uvádzaný dotazovací jazyk SQL sa nazýva HiveQL alebo HQL. To uľahčuje úlohy ETL a ďalšie analýzy.

Obr. 2. Vlastnosti podregistra

Zdrojové obrázky: - Google

Existuje tiež niekoľko obmedzení príkazu Úľ, ktoré sú uvedené nižšie:

  1. Podregister nepodporuje poddotazy.
  2. Úľ určite podporuje prepísanie, ale bohužiaľ nepodporuje mazanie a aktualizácie.
  3. Úľ nie je určený pre OLTP, ale používa sa naň.

Pre vstup do interaktívneho shellu Úľa:

$ HIVE_HOME / bin / úľ

Základné príkazy úľa

  1. vytvoriť

Vytvorí sa tak nová databáza v Úli.

  1. Pokles

Táto kvapka odstráni tabuľku z Úľa

  1. alter

Príkaz Alter vám pomôže premenovať tabuľku alebo stĺpce tabuľky.

Napríklad:

úľ> ALTER TABLE zamestnanca RENAME TO zaměstnance1;

  1. Šou

Príkaz Show zobrazí všetky databázy nachádzajúce sa v Úli.

  1. popísať

Príkaz Describe vám pomôže s informáciami o schéme tabuľky.

Príkazy stredného úľa

Podregister rozdelí tabuľku na rôzne súvisiace oddiely na základe stĺpcov. Pomocou týchto oddielov je ľahšie vyhľadávať údaje. Tieto oddiely sa ďalej delia na vedrá, aby sa dotaz mohol efektívne spracovať na dátach.

Inými slovami, vedrá distribuujú údaje do sady zhlukov výpočtom hashového kódu kľúča uvedeného v dotaze.

  1. Pridáva sa oddiel

Pridanie oddielu je možné vykonať zmenou tabuľky. Povedzme, že máte tabuľku „EMP“ s poliami ako ID, Meno, Mzda, Oddelenie, Označenie a Yoj.

úľ> ALTER TABLE zamestnanec

> PRIDAŤ ČASŤ (rok = '2012')

miesto '/ 2012 / part2012';

  1. Premenovanie oddielu

Úľ> ALTER TABLE PARTITION PARTITION (year = '1203')

Premenujte na oddiel (Yoj = '1203');

  1. Odkladací oddiel

úľ> ALTER TABLE zamestnanec DROP (AK EXISTUJE)

> PARTITION (rok = '1203');

  1. Relační operátori

Vzťahové subjekty pozostávajú z určitého súboru operátorov, ktorý pomáha pri získavaní relevantných informácií.

Napríklad: Povedzte, že vaša tabuľka „EMP“ vyzerá takto:

Spustíme dotaz Hive, ktorý nás privedie k zamestnancovi, ktorého plat je vyšší ako 30000.

úľ> VYBRAŤ * Z EMP, KDE Mzda> = 40000;

  1. Aritmetickí operátori

Toto sú operátori, ktorí pomáhajú pri vykonávaní aritmetických operácií na operandoch a zase vždy vracajú typy čísel.

Napríklad: Ak chcete pridať dve čísla, napríklad 22 a 33

úľ> VYBRAŤ 22 + 33 PRIDAŤ od teploty;

  1. Logický operátor

Títo operátori majú vykonávať logické operácie, ktoré na oplátku vždy vracajú hodnotu True / False.

úľ> VYBRAŤ * Z EMP, KDE Mzda> 40000 && Dept = TP;

Rozšírené príkazy úľa

  1. vyhliadka

Koncept zobrazenia v Hive je podobný ako v SQL. Pohľad sa dá vytvoriť v čase vykonávania príkazu SELECT.

Príklad:

úľ> VYTVORIŤ VIEW EMP_30000 AS

VYBERTE * Z EMP

KEĎŽE plat> 30000;

  1. Načítanie údajov do tabuľky

Úľ> Načítať údaje lokálnej cesty '/home/hduser/Desktop/AllStates.csv' do štátov tabuľky;

Tu je „Štáty“ už vytvorenou tabuľkou v Úli.

https://www.tutorialspoint.com/hive/

Úľ má niektoré vstavané funkcie, ktoré vám pomôžu lepšie získať výsledok.

Rovnako ako guľatá, podlaha, BIGINT atď.

  1. pripojiť

Klauzula Join môže pomôcť pri spájaní dvoch tabuliek na základe rovnakého názvu stĺpca.

Príklad:

úľ> VYBRAŤ c.ID, c.NAME, c.AGE, o.AMOUNT

OD ZÁKAZNÍKOV c PRIPOJENÉ OBJEDNÁVKY o

ON (c.ID = o.CUSTOMER_ID);

Hive podporuje všetky druhy spojení: Ľavý vonkajší spoj, pravý vonkajší spoj, plný vonkajší spoj.

Tipy a triky na použitie príkazov úľa

Úľ umožňuje spracovanie údajov tak jednoduché, priame a rozšíriteľné, že používateľ venuje menej pozornosti optimalizácii dotazov Úľa. Pri písaní dotazu Úľ však pozornosť venovaná niekoľkým veciam určite prinesie veľký úspech pri riadení pracovnej záťaže a šetrení peňazí. Nižšie je uvedených niekoľko tipov:

  1. Oddiely a vedrá: Úľ je nástroj na veľké dáta, ktorý dokáže dotazovať veľké súbory údajov. Písanie dotazu bez pochopenia domény však môže v Úle priniesť veľké oddiely.

Ak si je používateľ vedomý množiny údajov, relevantné a vysoko používané stĺpce by mohli byť zoskupené do jedného oddielu. Pomôže to rýchlejšie a neefektívne spracovať dotaz.

Nakoniec nie. obmedzí sa aj počet operácií mapovania a I / O.

Obr. 3. Rozdelenie na oddiely

Zdrojové obrázky: obrázok Google

Obr. 4 Vedenie

Zdrojové obrázky: - obrázok Google

  1. Paralelné spustenie: Hive spustí dotaz vo viacerých fázach. V niektorých prípadoch môžu tieto fázy závisieť od iných etáp, a preto už nie je možné začať po dokončení predchádzajúcej etapy. Nezávislé úlohy sa však môžu spúšťať paralelne, aby sa ušetril celkový čas vykonávania. Ak chcete povoliť paralelný chod v Hive:

set hive.exec.parallel = true;

Tým sa zlepší využitie klastra.

  1. Blokové vzorkovanie: Vzorkovanie údajov z tabuľky umožní skúmanie otázok o údajoch.

Napriek oddeľovaniu údajov chceme radšej vzorkovať množinu údajov náhodnejšie. Blokovanie vzorkovania prichádza s rôznymi výkonnými syntaxami, ktoré pomáhajú pri vzorkovaní údajov rôznymi spôsobmi.

Odber vzoriek možno použiť na nájdenie cca. informácie z množiny údajov, ako je priemerná vzdialenosť medzi pôvodom a cieľom.

Dopyt 1% veľkých dát prinesie dokonalú odpoveď. Prieskum sa stáva oveľa ľahším a efektívnejším.

Záver - Príkazy úľa

Úľ je abstrakcia na vyššej úrovni v hornej časti systému HDFS, ktorá poskytuje flexibilný jazyk dotazov. Pomáha ľahšie vyhľadávať a spracovávať údaje.

Úľ môže byť spojený s inými prvkami veľkých dát, aby sa jeho funkčnosť naplno využila.

Odporúčané články

Toto bol sprievodca príkazmi Úľa. Tu sme diskutovali základné aj pokročilé príkazy úľa a niektoré okamžité príkazy úľa. Viac informácií nájdete aj v nasledujúcom článku -

  1. Rozhovor Otázky na Hive
  2. Úľ VS Hue - Top 6 užitočných porovnaní
  3. Tableauove príkazy
  4. Príkazy Adobe Photoshop
  5. Použitie funkcie OBJEDNÁVKA POD Úľ
  6. Stiahnite a nainštalujte Úľ krok za krokom

Kategórie:

Veľké dáta