Úvod k otázkam a odpovediam na Rozhovor
V novej dátovej ére je Hive otvorený zdrojový balík petabytovej škály ETL a Infraštruktúra dátových skladov na ukladanie štruktúrovaných a neštruktúrovaných údajov stavaných na systéme distribuovaných súborov (HDFS).
na analýzu, dopytovanie a ťažbu obrovských množín údajov umožnením jazyka podobného SQL s názvom HiveQL (HQL) a ľahkého vykonávania dotazov pomocou plánovania Hadoop MapReduce.
Úľ je postavený na vrchole Hadoop na spracovanie a analýzu veľkých dát a uľahčuje vyhľadávanie.
Úľ pôvodne vytvoril Facebook, neskôr ho ďalej vylepšil a vyvinul ako otvorený zdroj Apache Software Foundation a pomenoval ho ako Apache Hive. Existuje veľa spoločností, ktoré teraz používajú Apache Hive pre svoje riešenia Big Data.
Ak hľadáte prácu, ktorá súvisí s Úľom, musíte sa pripraviť na otázky týkajúce sa rozhovoru o úli v roku 2018. Aj keď je každý pohovor iný a rozsah zamestnania je tiež odlišný, môžeme vám pomôcť s najlepšími otázkami a odpoveďami o rozhovoroch na Hive 2018, ktoré vám pomôžu skákať a dosiahnuť úspech v pohovore.
Nižšie je uvedený najvyšší zoznam otázok týkajúcich sa rozhovoru o úľoch, ktoré sa väčšinou kladú na pohovor. Tieto otázky sú rozdelené na dve časti:
1. časť - Otázky na pohovor s úľmi (základné)
Táto prvá časť sa venuje základným otázkam a odpovediam na Hive Interview.
1. Vypíšte rôzne komponenty architektúry Úľa?
odpoveď:
V architektúre Úľa je uvedených päť základných komponentov:
• Používateľské rozhranie (UI): Slúži ako komunikátor medzi používateľmi a ovládačmi, keď používateľ zapisuje otázky, ktoré používateľské rozhranie akceptuje a spúšťa na ovládači. Existujú dva typy rozhraní, ktoré sú k dispozícii: príkazový riadok a rozhranie GUI.
• Driver: Udržuje životný cyklus dotazu HiveQL. Prijíma dotazy z používateľského rozhrania a vytvára reláciu na spracovanie dotazu.
• Kompilátor: Prijíma plány dopytov od vodiča a získava požadované informácie od spoločnosti Metastore, aby vykonal plán.
• Metastore: Informácie o údajoch sa ukladajú ako tabuľka; môže to byť interný alebo externý stôl. Odošle informácie o metaúdajoch kompilátoru na vykonanie dotazu.
• Execute Engine: Služba Hive vykoná výsledok vo vykonávacom nástroji; vykoná dotaz v MapReduce na spracovanie údajov. Je zodpovedný za kontrolu každej fázy pre všetky tieto komponenty.
2. Ktoré sú rôzne druhy režimov, ktoré môže Úľ prevádzkovať?
odpoveď:
Toto sú bežné otázky týkajúce sa rozhovoru o úľoch, ktoré boli položené počas rozhovoru. Úľ môže fungovať v dvoch režimoch na základe veľkosti údajov,
Sú to tieto režimy:
• Režim zmenšenia mapy
• Lokálny režim
3. Aké sú scenáre, v ktorých je možné použiť Hive a ktoré sa nemôžu použiť?
Odpoveď :
Keď vytvárate aplikácie dátového skladu, keď sú vaše dáta statické, keď vaša aplikácia nevyžaduje vysoký čas odozvy, keď je objem údajov obrovský, keď sa údaje rýchlo nemenia a keď namiesto skriptovania používate dotazy. Podregister podporuje iba transakcie OLAP, nie je vhodný pre transakcie OLTP.
Prejdime k ďalším otázkam Hive Interview.
4. Aké formáty súborov podporuje Hive? Zoznam typov aplikácií, ktoré podporuje HIVE?
odpoveď:
V predvolenom nastavení Hive podporuje formát textových súborov a tiež podporuje binárny formát súborov, ako sú napríklad súbory Sequence, ORC, Parquet, Avro Data.
• Sekvenčný súbor: Spravidla ide o súbor v binárnom formáte, ktorý je možné komprimovať a je rozdeliteľný.
• Súbor ORC: Optimalizovaný súbor stĺpcov riadkov je zaznamenaný súbor založený na stĺpcoch a úložný súbor orientovaný na stĺpce.
• Parketový súbor: Je to binárny súbor orientovaný na stĺpce, ktorý je vysoko efektívny pre rozsiahle dotazy.
• Avro Data file: Je to rovnaké ako formát súboru sekvencií, ktorý je rozdeliteľný, stlačiteľný a riadkovo orientovaný.
Maximálna veľkosť dátového typu reťazca povoleného v Úli je 2 GB.
Hive je rámec dátového skladu, ktorý je vhodný pre aplikácie napísané v jazyku Java, C ++, PHP, Python alebo Ruby.
5. Aké rôzne tabuľky sú k dispozícii v Úli?
odpoveď:
V aplikácii Hive existujú dva typy tabuliek:
• Spravované tabuľky: Údaje a schéma sú pod kontrolou Úľa.
• Externé tabuľky: Úľ riadi iba schéma.
2. časť - Otázky na pohovor s úľmi (rozšírené)
Pozrime sa teraz na pokročilé otázky týkajúce sa rozhovorov o úľoch.
6. Čo je metastor v úli? Uveďte zoznam a vysvetlite rôzne typy konfigurácie Hive Metastores?
odpoveď:
Metastore v Úli sa používa na ukladanie informácií o metaúdajoch, je to centrálne úložisko v Úli. Umožňuje ukladanie informácií o metaúdajoch do externej databázy. V predvolenom nastavení ukladá Hive informácie o metaúdajoch do databázy Derby, ale možno ich uložiť aj do iných databáz, ako sú Oracle, MySql atď.
Existujú tri typy konfigurácie Metastore:
• Embedded metastore: Je to predvolený režim; má lokálny prístup do knižnice Hive, všetky operácie príkazového riadku sa vykonávajú vo vstavanom režime. Služba Hive, metastore service a database beží v rovnakom JVM.
• Local metastore: Uchováva údaje v externej databáze, napríklad MySql alebo Oracle. Služba Hive a metastore služba beží v rovnakom JVM, pripája sa k databáze, ktorá je spustená v samostatnom JVM.
• Remote metastore: Používa vzdialený režim na spúšťanie dopytov, tu sa služba metastore a služba hive spúšťa v samostatnom JVM. Na zvýšenie dostupnosti môžete mať viacero serverov metastorov.
7. Čo je procesor dotazu úľa? Aké sú rôzne komponenty procesora spracovania dopytov?
odpoveď:
Toto sú najčastejšie kladené otázky týkajúce sa rozhovorov o úľoch počas rozhovoru. Procesor Hive Query sa používa na prevod SQL na úlohy MapReduce. Na základe poradia závislostí sa úlohy vykonávajú.
Zložky procesora spracovania dopytov sú uvedené nižšie:
• Sémantický analyzátor
• UDF a UDAF
• Optimizer
• Operátor
• analyzátor
• Vykonávací motor
• Kontrola typu
• Generovanie logického plánu
• Tvorba fyzického plánu
8. Aká je funkčnosť inšpektora objektov v Úli?
odpoveď:
Skladá sa z Úľa, ktorý sa používa na identifikáciu štruktúry jednotlivých stĺpcov a vnútornej štruktúry riadkových objektov. K zložitým objektom, ktoré sú uložené vo viacerých formátoch, sa dá pristupovať pomocou Object-Inspector v Úle.
Inšpektor objektov identifikuje štruktúru objektu a spôsoby prístupu k vnútorným poliam vo vnútri objektu.
Prejdime k ďalším otázkam Hive Interview.
9. Aké sú rôzne spôsoby pripojenia aplikácií k serveru Hive Server?
odpoveď:
Existujú tri spôsoby, ako pripojiť aplikácie k serveru Hive, sú:
• Thrift Client: Používa sa na spúšťanie všetkých príkazov úľa pomocou odlišného programovacieho jazyka, ako je Java, C ++, PHP, Python alebo Ruby.
• ODBC Driver: Podporí sa protokol ODBC
• Ovládač JDBC: Podporuje protokol JDBC
10. Aké sú predvolené triedy na čítanie a zápis v Hive?
odpoveď:
Nižšie sú uvedené triedy čítania a zápisu, ktoré sú k dispozícii v Úli:
• TextInputFormat - Táto trieda sa používa na čítanie údajov vo formáte obyčajného textu.
• HiveIgnoreKeyTextOutputFormat - Táto trieda sa používa na písanie údajov vo formáte obyčajného textu.
• SequenceFileInputFormat - Táto trieda sa používa na čítanie údajov vo formáte súboru Hadoop Sequence.
• SequenceFileOutputFormat - Táto trieda sa používa na písanie údajov vo formáte súboru Hadoop Sequence.
Odporúčaný článok
Toto bol sprievodca zoznamom otázok a odpovedí na otázky týkajúce sa rozhovoru o úľoch, aby uchádzač mohol ľahko vykonať tvrdé zásahy do týchto otázok. Ďalšie informácie nájdete aj v nasledujúcich článkoch -
- Top 5 užitočných otázok a odpovedí na rozhovor s DBA
- 12 najúžasnejších otázok a odpovedí na rozhovor GitHub
- 15 najdôležitejších otázok a odpovedí Ruby Interview
- Top 10 najužitočnejších otázok o rozhovoroch s HBase