Naučte sa 10 najlepších rozdielov medzi MapReduce a priadzou

Rozdiel medzi mapou zmenšiť a priadze

Priadza je skratkou pre ďalší sprostredkovateľ zdrojov, je to nový rámec pre správu zdrojov (pamäť a procesor). Pomáha nám pri vývoji distribuovanej aplikácie akéhokoľvek druhu, poskytuje nám potrebné démony a API. Ďalšou dôležitou vlastnosťou YARN je to, že spracováva a plánuje požiadavku na prostriedky z aplikácie a pomáha procesu pri vykonávaní požiadavky. YARN je generická platforma na spustenie akejkoľvek distribuovanej aplikácie, Map Reduce verzia 2 je distribuovaná aplikácia, ktorá beží na vrchole YARN, zatiaľ čo map redukcia je jednotka spracovania komponentu Hadoop, v distribuovanom prostredí spracováva údaje paralelne. Takže práca na rozsiahlych dátových komponentoch v podstate redukuje mapy, spracováva údaje a ukladá ich do systému HDFS tak, aby vyhľadávanie bolo ľahšie ako tradičné ukladanie.

Porovnanie medzi hlavami medzi MapReduce a Yarn (infografika)

Nižšie je 10 najlepších porovnávaní medzi MapReduce a Yarn

Kľúčový rozdiel medzi MapReduce a priadzou

V Hadoop 1 má dve komponenty, prvá je HDFS (Hadoop Distributed File System) a druhá je Map Reduce. Zatiaľ čo v Hadoop 2 má tiež dva komponenty HDFS a YARN / MRv2 (zvyčajne sa nazýva YARN ako Map redu version 2).
V Map Reduce, keď prestane pracovať mapovanie, potom automaticky prestane pracovať všetok jeho podradený uzol. Toto je scenár, v ktorom môže vykonávanie úloh prerušiť a nazýva sa to jediný bod zlyhania. YARN tento problém prekonáva kvôli svojej architektúre, YARN má koncept uzla Active name uzol aj uzol pohotovostného názvu. Keď aktívny uzol prestane fungovať nejaký čas, pasívny uzol začne pracovať ako aktívny uzol a pokračuje vo vykonávaní.
Zníženie mapy má architektúru single master a multiple slave. Ak master-slave klesne, celý slave prestane pracovať, čo je jediný bod zlyhania v HADOOP1, zatiaľ čo HADOOP2, ktorý je založený na architektúre YARN, má koncepciu viacerých master a slave, ak jeden majster klesne, ďalší majster obnoví svoj proces a bude pokračovať vo vykonávaní.
Ako vidno na nasledujúcom diagrame, rozdiel v oboch ekosystémoch HADOOP1 a HADOOP2. Komponent YARN Resource Management spolupracuje s Map-redukciou a HDFS.

Takže YARN je v zásade zodpovedná za správu zdrojov, čo znamená, ktorá úloha bude vykonaná tým, čo systém rozhodne, YARN, zatiaľ čo mapové zníženie je programovací rámec, ktorý je zodpovedný za to, ako vykonať konkrétnu úlohu, takže v podstate má mapové mapovanie dva komponenty mapovač a reduktor. na vykonanie programu.

V Mape znížte každý dátový uzol spustený individuálne, zatiaľ čo v Priadzi každý dátový uzol beží manažérom uzlov.
Zníženie mapy používa nástroj na sledovanie úloh na vytvorenie a priradenie úlohy k nástroju na sledovanie úloh z dôvodu údajov, ktoré spravujú prostriedky, nie sú pôsobivé, pretože niektoré dátové uzly zostanú nečinné a nepoužívajú sa, zatiaľ čo v databáze YARN má správca zdrojov pre každý z nich klastra a každý dátový uzol spustí Správcu uzlov. Pre každú úlohu bude jeden podriadený uzol pôsobiť ako aplikačný kmeň, monitorovať zdroje / úlohy.

Porovnávacia tabuľka MapReduce verzus priadza

Základ pre porovnanie	nite	Mapa Znížiť
zmysel	YARN znamená ešte jeden vyjednávač zdrojov.	Mapa Reduce je definovaná samostatne.
verzia	Zaviesť v Hadoop 2.0	Zaviesť v Hadoop 1.0
zodpovednosť	Teraz je spoločnosť YARN zodpovedná za správu zdrojov.	Skoršie zníženie mapy bolo zodpovedné za správu zdrojov a spracovanie údajov
Vykonávací model	Model prevedenia priadze je všeobecnejší v porovnaní s mapovým znížením	Menej generické v porovnaní s YARN.
Vykonávanie aplikácií	Spoločnosť YARN môže vykonávať aj tie aplikácie, ktoré sa neriadia modelom Map Reduce	Map Reduce dokáže spustiť svoju vlastnú aplikáciu založenú na modeli.
architektúra	YARN je uvedený v MR2 na vrchole sledovača úloh a sledovania úloh. V mieste aplikácie na sledovanie úloh a úloh na sledovanie úloh sa hlavný obrázok dostane do obrázka.	V skoršej verzii MR1 neexistuje YARN. Namiesto YARN bol prítomný sledovač úloh a sledovač úloh, ktoré pomáhajú pri vykonávaní aplikácií alebo úloh.
flexibilita	YARN je izolovanejšia a škálovateľnejšia	Menej škálovateľné v porovnaní s YARN.
démoni	YARN má názov uzla, dátový uzol, sekundárny uzol názvu, správcu prostriedkov a správcu uzlov.	Mapa má zmenšený názov uzla, dátový uzol, uzol sekundárneho názvu, sledovač úloh a sledovač úloh.
obmedzenia	Neexistuje žiadna koncepcia jediného bodu zlyhania v YARN, pretože má viac Masters, takže ak jeden zlyhal, iný master ho vyzdvihne a obnoví vykonávanie.	Jeden bod zlyhania, nízke využitie zdrojov (maximálne 4 200 zoskupení podľa YAHOO) a menšia škálovateľnosť v porovnaní s YARN
veľkosť	V predvolenom nastavení je veľkosť dátového uzla v YARN 128 MB	V predvolenom nastavení je veľkosť dátového uzla v časti Zmenšenie mapy 64 MB.

Záver - MapReduce vs priadza

V Hadoop 1, ktorý je založený na Map Reduce, má niekoľko problémov, ktoré prekonali v Hadoop 2 s Yarn. Podobne ako v prípade Hadoop 1, aj v prípade manažéra zdrojov je zodpovedný za správu zdrojov, ale YARN má koncepciu správcu prostriedkov, ako aj správcu uzlov, ktorý bude využívať správu zdrojov. Zníženie mapy má jediný bod zlyhania, tj sledovač úloh, ak sledovač úloh prestane fungovať, musíme reštartovať celý náš klaster a znova vykonať svoju úlohu z Initial. V reálnom scenári žiadna z organizácií nechce riskovať tento druh rizika, najmä v sektore obrany bánk. Takáto organizácia, ktorá pracuje na efektívnejších údajoch, nebude pripravená podstúpiť tento druh rizika. Z dôvodu niekoľkých minút prídu o svoje údaje a môžu mať zásadný obchodný dopad. Takže YARN má lepší výsledok v porovnaní so znížením mapy.

Odporúčaný článok

Toto bol sprievodca MapReduce vs Yarn, ich význam, porovnanie hlava-hlava, kľúčové rozdiely, porovnávacia tabuľka a záver. Ďalšie informácie nájdete aj v nasledujúcich článkoch -