Ako nainštalovať úľ?
Apache Hadoop je zbierka rámca, ktorá umožňuje spracovanie veľkých dát distribuovaných v klastri. Podľa Apache Hive je softvérový projekt dátového skladu postavený na vrchole Apache Hadoop na poskytovanie dotazov a analýz údajov. Úľev Apache poskytuje rozhranie podobné SQL na vyhľadávanie a spracovanie veľkého množstva údajov nazývaných HQL (dotazovací jazyk Hive). Úľ Apache beží nad ekosystémom Hadoop a dáta uložené vo forme súboru znamenajú distribuovaný systém súborov Hadoop (HDFS). Apache Hive poskytuje skvelé rozhranie pre prístup a vykonávanie operácií s údajmi vo forme tabuľky. Poskytuje skvelú optimalizačnú techniku na zlepšenie výkonu. Je veľmi náročné zrýchliť dopyt s veľkými dátami a veriť mi, že je to dôležité vo výrobnom prostredí.
V backende kompilátor prevádza dotaz HQL na mapu, čím znižuje počet úloh, a potom sa odosiela do rámca Hadoop na vykonávanie.
Rozdiel medzi Hive a SQL
Apache Hive je veľmi podobný s SQL, ale ako vieme, úľ beží na vrchole ekosystému Hadoop a interne prevádza úlohy na MR (úlohy Map Reduce), to robí nejaký rozdiel medzi Hive a SQL.
Úľ by nebol najlepším prístupom pre tie aplikácie, kde je potrebná veľmi rýchla reakcia a je veľmi dôležité pochopiť, že Hive je vhodnejší pre dávkové spracovanie veľmi veľkých súborov nemeniteľných údajov a mali by sme si uvedomiť, že Hive je pravidelný RDBMS a v poslednej dobe ale v neposlednom rade apache úl je schéma čítacích prostriedkov (pri vkladaní údajov do tabuľky úľov sa nebude obťažovať nesúladom typu údajov, ale pri čítaní údajov sa ukáže nulová hodnota, ak typ údajov nezodpovedá typu údajov konkrétneho stĺpca).
Predchádzajúca požiadavka na inštaláciu úľa
Ako som už povedal vyššie, je veľmi dôležité pochopiť, že úly Apache sú spustené na vrchu Hadoop Ecosystem a Hadoop by mal byť v prevádzke so všetkými démonmi.
Niektoré zo základných démonov Hadoop sú nasledujúce:
- Uzol názvu
- Dátový uzol
- Správca zdrojov
- Správca uzlov
Nasledujúcim príkazom je skontrolovať verziu Hadoop:
V príkazovom riadku napíšte → Hadoop version, čím získate verziu Hadoop.
Ak chcete skontrolovať príkaz spúšťača zostavy klastra Hadoop pod týmto príkazom:
Do príkazového riadka napíšte → Hadoop dfsadmin - nahláste príkazový riadok, ak vám beží server, dá vám celú správu klastra.
Ak na vašom počítači nie je nainštalovaný program Hadoop, ktorý vás žiada, aby ste nainštalovali program Hadoop vo vašom systéme, postupujte podľa pokynov apache.
Dúfam, že java už bol nainštalovaný aj vo vašom systéme. Ak chcete skontrolovať verziu javy, pozrite si nižšie uvedený obrázok.
Kroky na inštaláciu Úľa na Ubuntu
Nižšie sú uvedené kroky na inštaláciu Hive na Ubuntu:
Krok 1 : Úľový decht si môžeme stiahnuť pomocou príkazu nižšie v termináli, ktorý si tiež môžeme priamo stiahnuť z terminálu.
Príkaz: dostaneme http://archive.apache.org/dist/hive/hive-2.1.0/apache-hive-2.1.0-bin.tar.gz
Krok 2 : Rozbaľte dechtový súbor pomocou príkazu nižšie v termináli, ktorý môžeme priamo extrahovať decht nad stiahnutým dechtovým súborom dechtu.
Príkaz: tar -xzf apache-hive-2.1.0-bin.tar.gz
Navrhujem, aby ste si pomocou príkazu ls overili extrahovaný súbor úľa.
Krok 3: Upravte súbor „ .bashrc “ a aktualizujte premenné prostredia pre používateľa.
Príkaz: sudo the .ashash
Na koniec súboru pridajte nasledujúci text:
# Nastaviť HIVE_HOME
Vykonaním nižšie uvedeného príkazu dokončite práce na zmenách v aktuálnom termináli.
Príkaz: source .bashrc 
Krok 5 : Potrebujeme vytvoriť adresáre Úľa v rámci HDFS a tento adresár „sklad“ bude miestom, kde sa budú ukladať informácie súvisiace s metadátami tabuľky úľov a údaje týkajúce sa Úľa.
Príkaz :
- hdfs dfs -mkdir -p / user / hive / Veľkoobchod
- hdfs dfs -mkdir / tmp
Krok 6 : Ak chcete nastaviť povolenie na čítanie a zápis pre tabuľku podregistrov, vykonajte príkaz nižšie.
Command:
V príkaze nižšie, ktorý poskytuje skupine používateľov povolenie na zápis:
- hdfs dfs -chmod g + w / user / hive / Veľkoobchod
- hdfs dfs -chmod g + w / tmp
Konfigurácia podregistra: Je veľmi dôležité konfigurovať podregister s Hadoop. Potrebujeme upraviť súbor hive-env.sh, ktorý je umiestnený v adresári $ HIVE_HOME / conf. Nasledujúce príkazy presmerujú do priečinka Hive conf a skopírujú súbor šablóny:
Krok 7 : Nastavte cestu Hadoop v súbore hive-env.sh
Upravte súbor hive-env.sh pridaním nasledujúceho riadku:
Teraz týmto procesom sme takmer hotoví a inštalácie podregistrov boli úspešne dokončené, je dôležité nakonfigurovať Metastore s externým databázovým serverom a štandardne Apache Hive framework používa databázu Derby. Použitím príkazu Inicializácia databázy Derby.
Príkaz: bin / schematool -initSchema -dbType derby
Krok 8 : Spustenie úľa .
Príkaz: úľ (do druhého terminálu úľa sa zadá úľ v termináli).
Práca s Hive: Teraz uvidíme niektoré operácie v úli, aby sme zistili, koľko tabuliek máme v predvolenej databáze. Použite nižšie screenshoty v dolných screenshotoch. Nezobrazuje žiadne tabuľky, čo znamená, že v predvolenej databáze nemáme žiadne tabuľky.,
Na vytvorenie tabuľky v úli je veľmi dôležité odkázať na požadovanú databázu, inak sa akákoľvek tabuľka vytvorí pod predvolenou databázou.
Dôležité príkazy v Úle
1: Zobraziť databázy (zobrazia sa všetky doteraz vytvorené databázy).
2: vytvorte databázu, ak neexistuje mydb (tento príkaz vytvorí jednu databázu s názvom ' mydb', ak ' mydb' neexistuje a ak ' mydb už existuje, nedá tiež žiadnu chybu')
3: použite databázu vždy, keď musíme v konkrétnej databáze použiť nejaký príkaz DDl, mali by sme použiť príkaz „use database“, v prípade, že sme už vytvorili príkaz „mydb“ show, použije sa príkaz mydb.
Dôležitý príkaz HL DDL
VYTVORIŤ, DROP, TRUNCATE, SHOW, OPIS .
- Vytvoriť : - Vytvorte príkaz, ktorý sa používa na vytvorenie databázy alebo vytvorenie tabuľky v úli.
Príklad: úľ> create database Company; (vytvorenie databázy)
Úľ> spoločnosť;
Úľ> vytvoriť tabuľky zamestnanca (id int, name String, plat String); (tým sa vytvorí zamestnanec tabuľky v databáze Spoločnosť, pretože sme už vykonali príkaz Použiť databázu.)
- Popis popisuje informácie o schéme tabuľky.
Úľ> opísať zamestnanca; (podrobne uvedie podrobnosti schémy tabuľky zamestnancov)
- TRUNCATE vymaže údaje z tabuľky.
Úľ> skrátiť zamestnanca tabuľky;
Môžeme nainštalovať Úľ aj na okno, ale pre najlepšiu prax budem radšej používať Ubuntu, poskytne lepší prehľad o produkčnom prostredí a vaše dáta sa v budúcnosti zvýšia, bude sa ľahko spravovať.
Odporúčané články
Toto bol sprievodca inštaláciou úľa. Tu sme diskutovali o rôznych krokoch pri inštalácii Hive, príkazu DDL atď. Ďalšie informácie nájdete v nasledujúcich článkoch:
- Ako nainštalovať SQL Server
- Ako nainštalovať MATLAB
- Príkazy a funkcie Úľa
- Základné otázky rozhovoru s úľom
- Architektúra úľa Pracovný tok
- Použitie funkcie OBJEDNÁVKA POD Úľ
- Inštalácia úľa