Úvod do ekosystému Hadoop
Ekosystém Hadoop je rámec, ktorý pomáha pri riešení veľkých problémov s údajmi. Jadrom ekosystému Hadoop je distribuovaný súborový systém Hadoop (HDFS). HDFS je distribuovaný súborový systém, ktorý má schopnosť ukladať veľké súbory údajov. S pomocou príkazov shellu HADOOP interaktívne s HDFS. Hadoop Rozkladá neštruktúrované údaje a distribuuje sa do rôznych sekcií na analýzu údajov. Ekosystém poskytuje veľa komponentov a technológií, ktoré sú schopné riešiť zložité obchodné úlohy. Ekosystém zahŕňa projekty a príklady z otvoreného zdroja
Prehľad ekosystému Hadoop
Ako všetci vieme, že internet zohráva v elektronickom priemysle zásadnú úlohu a množstvo údajov generovaných prostredníctvom uzlov je veľmi veľké a vedie k dátovej revolúcii. Objem údajov je obrovský, takže existuje potreba platformy, ktorá sa o ne postará. Architektúra Hadoop minimalizuje pracovnú silu a pomáha pri plánovaní úloh. Na spracovanie týchto údajov potrebujeme silnú výpočtovú silu na ich riešenie. Ako drasticky rastú dáta, vyžaduje veľké objemy pamäte a vyššiu rýchlosť spracovania terabajtov údajov, na riešenie problémov sa používa distribuovaný systém, ktorý používa viac počítačov na synchronizáciu údajov. Na riešenie tohto systému spracovania je nevyhnutné objaviť softvérovú platformu na riešenie problémov súvisiacich s údajmi. Vyvíja sa Hadoop na riešenie veľkých dátových problémov.
Komponenty ekosystému Hadoop
Ako sme videli prehľad ekosystému Hadoop a známe príklady otvoreného zdroja, teraz sa budeme podrobne zaoberať zoznamom komponentov Hadoop jednotlivo a ich konkrétnymi úlohami pri spracovaní veľkých údajov. Zložky ekosystémov Hadoop sú:
-
HDFS:
Distribuovaný systém súborov Hadoop je chrbtovou kosťou systému Hadoop, ktorý pracuje na jazyku java a ukladá údaje do aplikácií Hadoop. Slúžia ako rozhranie príkazov na interakciu s Hadoopom. dve zložky HDFS - dátový uzol, názov uzla. Názov uzla hlavný uzol spravuje súborové systémy a prevádzkuje všetky dátové uzly a udržuje záznamy o aktualizácii metadát. V prípade vymazania údajov ich automaticky zaznamenajú do Edit Log. Uzol údajov (Slave Node) vyžaduje kvôli úložným a zapisovacím operáciám obrovský úložný priestor. Pracujú podľa pokynov názvu uzla. Dátové uzly sú hardvérom v distribuovanom systéme.
-
HBASE:
Je to otvorený zdrojový rámec, ktorý ukladá všetky typy údajov a nepodporuje databázu SQL. Beží na vrchole HDFS a sú napísané v jazyku java. Väčšina spoločností ich používa pre svoje funkcie ako podpora všetkých typov údajov, vysoká bezpečnosť, použitie tabuliek HBase. Zohrávajú dôležitú úlohu v analytickom spracovaní. Dve hlavné komponenty HBase sú HBase master, Regional Server. Master HBase je zodpovedný za vyvažovanie záťaže v klastri Hadoop a riadi zlyhanie. Sú zodpovední za vykonávanie administratívnej úlohy. Úlohou regionálneho servera by bol pracovný uzol zodpovedný za čítanie a zápis údajov do vyrovnávacej pamäte.
-
nite:
Je to dôležitý komponent v ekosystéme a nazýva sa ako operačný systém v Hadoop, ktorý poskytuje správu zdrojov a úlohu plánovania úloh. Komponenty sú Správca prostriedkov a uzlov, Správca aplikácií a kontajner. Pôsobia tiež ako strážcovia skupín Hadoop. Pomáhajú pri dynamickom prideľovaní klastrových zdrojov, zvyšujú proces v dátovom centre a umožňujú viac prístupových motorov.
-
Sqoop:
Je to nástroj, ktorý pomáha pri prenose údajov medzi HDFS a MySQL a umožňuje okamžité importovanie a exportovanie údajov, má konektor na načítanie a pripojenie údajov.
-
Apache Spark:
Je to otvorený zdrojový klasterový výpočtový rámec pre analytiku dát a základný stroj na spracovanie údajov. Je napísaný v Scale a je dodávaný s balenými štandardnými knižnicami. Mnoho spoločností ich používa na svoju vysokú rýchlosť spracovania a spracovanie toku.
-
Apache Flume:
Je to distribuovaná služba, ktorá zhromažďuje veľké množstvo údajov zo zdroja (webový server) a vracia sa späť k svojmu pôvodu a prenáša sa na HDFS. Tri zložky sú zdroj, umývadlo a kanál.
-
Hadoop Map Reduce:
Je zodpovedný za spracovanie údajov a pôsobí ako hlavná súčasť systému Hadoop. Mapa Reduce je procesor spracovania, ktorý vykonáva paralelné spracovanie vo viacerých systémoch toho istého klastra. Táto technika je založená na metóde delenia a dobývania a je napísaná v programovaní java. Vďaka paralelnému spracovaniu pomáha pri rýchlom procese predchádzať preťaženiu a účinne zlepšuje spracovanie údajov.
-
Ošípané Apache:
Manipulácia s údajmi o hadoope vykonáva Apache Pig a používa prasačie latinské jazyky. Pomáha pri opätovnom použití kódu a ľahko čitateľný a zapisovateľný kód.
-
Úľ:
Je to softvér s otvoreným zdrojovým kódom na vykonávanie koncepcií skladovania údajov, dokáže sa dotazovať na veľké súbory údajov uložené v HDFS. Je postavený na vrchu ekosystému Hadoop. jazyk používaný v úli je jazyk Hive Query. Užívateľ odošle žiadosti o úľ s metaúdajmi, ktoré prevádzajú SQL na úlohy s obmedzením mapy a dané klastru Hadoop, ktorý sa skladá z jedného hlavného počítača a veľkého počtu otrokov.
-
Vŕtačka Apache:
Apache Drill je open source SQL engine, ktorý spracúva nerelačné databázy a systém súborov. Sú navrhnuté tak, aby podporovali pološtrukturované databázy nachádzajúce sa v úložisku Cloud. Majú dobré možnosti správy pamäte na udržiavanie zberu odpadu. Medzi pridané funkcie patrí stĺpcová reprezentácia a použitie distribuovaných spojení.
-
Apache Zookeeper:
Je to API, ktoré pomáha pri distribuovanej koordinácii. Aplikácia v klastri Hadoop tu vytvára uzol s názvom Znode. Robia služby ako synchronizácia, konfigurácia. Vytriedi časovo náročnú koordináciu v ekosystéme Hadoop.
-
Oozie:
Oozie je webová aplikácia java, ktorá udržuje veľa pracovných tokov v klastri Hadoop. Ovládanie úlohy pomocou rozhrania API webových služieb sa vykonáva kdekoľvek. Je obľúbený pri efektívnom spracovaní viacerých úloh.
Príklady ekosystému Hadoop
Pokiaľ ide o zmenšovanie máp, môžeme vidieť príklad a prípad použitia. jedným z takýchto prípadov je Skybox, ktorý používa Hadoop na analýzu obrovského objemu údajov. Úľ môže nájsť jednoduchosť na Facebooku. Frekvencia počtu slov vo vete pomocou mapy sa zníži. MAP vykonáva tým, že počíta ako vstup a vykonáva funkcie, ako napríklad filtrovanie a triedenie a výsledok (konsolidácia) konsoliduje výsledok. Ukážka príkladu prevzatia študentov z rôznych štátov z databáz študentov pomocou rôznych príkazov DML
záver
Týmto sa uzatvára krátka úvodná poznámka o ekosystéme Hadoop. Apache Hadoop získal popularitu vďaka svojim funkciám, ako je analýza zásobníka údajov, paralelné spracovanie a pomoc pri poruche tolerancie. Medzi hlavné komponenty ekosystémov patrí Hadoop common, HDFS, Map-redukovat a priadza. Vybudovať efektívne riešenie. Je potrebné sa naučiť množinu komponentov, každý komponent vykonáva svoju jedinečnú prácu, pretože je funkciou Hadoop.
Odporúčané články
Toto bola príručka pre komponenty ekosystému Hadoop. Tu sme podrobne diskutovali o zložkách ekosystému Hadoop. Viac informácií nájdete aj v ďalších navrhovaných článkoch -
- Rozsah kariéry v Hadoope
- Aké sú použitia Hadoopu?
- Čo je AWT v Java?
- Naučte sa Data Warehouse vs Hadoop