Čo je to ekosystém Apache Hadoop?
Apache Hadoop Ecosystem je framework alebo open-source dátová platforma určená na ukladanie a skúmanie obrovských zbierok neštruktúrovaných dát. Na celom svete existuje množstvo údajov poháňaných mnohými digitálnymi platformami s poprednou inovatívnou technológiou veľkých dát. Okrem toho bol Apache Hadoop prvým, ktorý získal tento prúd inovácií.
Čo obsahuje architektúra / ekosystém Hadoop Data?
Hadoop Ekosystém nie je programovací jazyk alebo služba, je to rámec alebo platforma, ktorá sa stará o veľké dáta. Môžete ho identifikovať ako balík, ktorý obsahuje rôzne služby, ako je ukladanie, prijímanie, údržba a analýza obsahu. Potom preskúmajte a získajte stručnú predstavu o tom, ako služby fungujú výlučne a v spolupráci. Architektúra Apache Hadoop pozostáva z rôznych inovácií a prvkov Hadoop, pomocou ktorých je možné efektívne vyriešiť aj zložité informačné problémy.
Nasleduje zobrazenie každej časti: -
1) Namenode: Vedie proces informácií
2) Datanode: Zostavuje informácie do miestneho úložiska. Uloženie všetkých informácií na jedinečné miesto sa neustále nenavrhuje, pretože by to mohlo spôsobiť stratu informácií v prípade výpadku.
3) Sledovač úloh: Dostávajú povinnosti pridelené podriadenému uzlu
4) Mapa: Berie informácie z toku a každý riadok je spracovaný rozdelený tak, aby bol rozdelený do rôznych polí
5) Zmenšiť: Tu sa polia, získané prostredníctvom mapy, zhromažďujú alebo vzájomne spájajú
Ekosystém Apache Hadoop - krok za krokom
Každý prvok ekosystému Hadoop je zrejmý z hľadiska konkrétnych aspektov. Komplexná perspektíva štruktúry Hadoop ponúka pozoruhodnú kvalitu pre systémy Hadoop Distributed File Systems (HDFS), Hadoop YARN, Hadoop MapReduce a Hadoop MapReduce z ekosystému Hadoop. Hadoop dokonca poskytuje každú knižnicu Java, významné záznamy v jazyku Java, odrazy na úrovni OS, výhody a skripty na prevádzkovanie systému Hadoop. Hadoop YARN je metóda navrhovania podnikania a riadenia zdrojov partií. V konfigurácii Hadoop poskytuje HDFS vysoko priepustný priechod aplikačným informáciám a Hadoop MapReduce umožňuje paralelnú prípravu rozsiahlych sortimentov údajov založenú na YARN.
Prehľad ekosystému Apache Hadoop
Predtým, ako začnete pracovať s ekosystémom Hadoop, je to základná téma. Nižšie sú uvedené základné komponenty:
- HDFS: Toto je stredná časť ekosystému Hadoop a môže ušetriť obrovské množstvo neštruktúrovaných, štruktúrovaných a pološtrukturovaných informácií.
- YARN: Pripomína to myseľ ekosystému Hadoop a všetky manipulácie sa vykonávajú priamo tu, čo môže zahŕňať alokáciu aktív, plánovanie úloh a prípravu akcií.
- MapReduce: Je to zmes dvoch procesov označovaných ako Map and Reduce a pozostáva z podstaty prípravy častí, ktoré tvoria obrovské informačné zbierky využívajúce paralelné a rozptýlené algoritmy vo vnútri ekosystému Hadoop.
- Apache Pig: Je to jazyk postupu, ktorý sa používa na paralelné spracovanie aplikácií na spracovanie rozsiahlych informačných kolekcií v stave Hadoop a tento jazyk je možnosťou programovania Java.
- HBase: Je to open-source a nepriradená alebo NoSQL databáza. Posilňuje všetky typy informácií, takže sa môže zaoberať akýmkoľvek typom informácií v rámci Hadoop.
- Mahout, Spark MLib: Mahout sa používa na strojové učenie a dáva prírode vytváranie aplikácií na strojové učenie.
- Zookeeper: Pri jednaní so skupinami je možné využiť Zookeeper, inak sa to nazýva pán koordinácie, ktorý môže poskytovať spoľahlivé, rýchle a usporiadané prevádzkové správy pre zväzky Hadoop.
- Oozie: Apache Oozie prevádzkuje plánovanie práce a pracuje ako výstražné a hodinové služby v ekosystéme Hadoop.
- Ambari: Je to podnik Apache Software Foundation a dokáže ekosystém Hadoop implementovať progresívne.
Hadoop YARN:
Premýšľajte o YARN ako o mysli vášho ekosystému Hadoop. Rozdeľuje aktíva a plánovacie povinnosti z celého procesu spracovania.
Má dva pozoruhodné segmenty, ktorými sú ResourceManager a NodeManager.
- ResourceManager: - Je to opäť hlavný uzol v prevádzkovej divízii. Dostane prípravné otázky a potom odovzdá otázky príslušnému NodeManageru, kde dôjde k skutočnému spracovaniu.
- NodeManagers: - Tieto sú nainštalované v každom DataNode. Zodpovedá za vykonanie priradenia v každom DataNode.
Akým spôsobom Apache Hadoop účinkuje?
- Je určený na výstup z jednotlivých serverov na obrovské množstvo počítačov, z ktorých každý poskytuje lokálny výpočet a kapacitu. Namiesto toho, aby bola knižnica závislá od vybavenia na sprostredkovanie vysokej prístupnosti, je určená na rozlíšenie a riešenie sklamaní v aplikačnej vrstve, čím poskytuje nesmierne prístupnú službu na zväzku počítačov, z ktorých každý by mohol mať sklon k sklamaniam.
- Pozrime sa však ďalej a v práci sa výrazne zvyšuje čaro. Hadoop je úplne modulárny, čo znamená, že môžete vymeniť prakticky akýkoľvek zo svojich segmentov za alternatívny softvérový nástroj. Vďaka tomu je architektúra fantasticky prispôsobivá, rovnako výkonná a efektívna.
Apache Hadoop Spark:
- Apache Spark je systém na analýzu informácií v reálnom čase v rozptýlenom výpočtovom prostredí. Implementuje výpočty v pamäti na zvýšenie rýchlosti spracovania informácií.
- Je rýchlejšia pri spracovaní rozsiahlych informácií, pretože využíva výpočty v pamäti a rôzne vylepšenia. Pozdĺž týchto línií vyžaduje vysokú spracovateľskú silu.
Akým spôsobom Apache Pig účinkuje?
- Apache Pig je prospešný systém, ktorý spoločnosť Yahoo vyvinula na efektívne a hladké preskúmanie obrovských informačných pozícií. Poskytuje nejaký špičkový jazyk informačného toku ošípaných latinčiny, ktorý je rozšírený, rozšíriteľný a ľahko použiteľný.
- Výnimočná zložka programov ošípaných, v ktorej je ich zloženie k dispozícii pre podstatnú paralelizáciu, čo uľahčuje starostlivosť o podstatné informačné zbierky.
Prípad použitia ošípaných:
- Informácie o súkromnej zdravotnej starostlivosti jednotlivca sú súkromné a nemali by sa sprístupňovať iným ľuďom. Tieto údaje by sa mali utajiť, aby sa zachovalo utajenie, ale informácie o lekárskych službách sú obrovské do tej miery, že je nevyhnutné rozpoznávať a vylučovať jednotlivé informácie o zdravotnej starostlivosti. Apache Pig sa môže v takýchto podmienkach využiť na odhaľovanie zdravotných údajov.
záver:
- Je navrhnutý tak, aby vystúpil z jedného servera na obrovské množstvo počítačov, pričom všetky poskytujú výpočty a kapacitu v okolí. Pozrime sa však ďalej a v práci je čoraz viac očarenie.
- Hadoop je úplne modulárny, čo znamená, že si môžete vymieňať prakticky akúkoľvek jeho časť za alternatívny softvérový nástroj. Vďaka tomu je štruktúra fantasticky prispôsobivá, rovnako výkonná a efektívna.
Odporúčané články
Toto bol sprievodca ekosystémom Apache Hadoop. Tu sme diskutovali o tom, čo je Apache Hadoop Ecosystem? prehľad architektúry Hadoop a fungovanie ekosystému Hadoop. Viac informácií nájdete aj v ďalších navrhovaných článkoch -
- Komponenty ekosystému Hadoop
- Ako nainštalovať Apache
- Apache Spark Training
- Kariéra v Hadoope