Úvod do plánovačov Hadoop
Keď hovoríme o Hadoopovi, prvá vec, ktorá sa nám objaví, sú veľké dáta. Ale niekedy sme sa čudovali, že samotný Hadoop nie je iba technológia, ale obsahuje aj veľa nástrojov a techník, ktoré sú v ňom obsiahnuté, a ako presne sme schopní automaticky dosiahnuť to, čo sa predpokladá prostredníctvom Hadoop. Odpoveď na túto otázku je pomocou plánovačov Hadoop.
Umožňuje vysokú úroveň spracovania systému a je tiež známa ako systém na všeobecné použitie, ktorý pôsobí na distribučnej úrovni súboru údajov a informácií. Je to multitaskingový systém, ktorý sa používa na spracovanie viacerých súborov údajov pre mnohých používateľov a úlohy súčasne. Skôr sa na všetky úlohy používal iba jeden plánovač, ale teraz sú plánovače Hadoop tie, ktoré sa používajú spolu s logikou JobTracker a sú tiež podporované Hadoop.
Top 4 typy plánovačov Hadoop
Často používame niekoľko typov plánovačov Hadoop:
1. Hadoop First in First out Scheduler
- Ako už názov napovedá, je to jeden z tých najstarších plánovačov pracovných miest, ktorý pracuje na princípe „prvý dovnútra a prvý von“. V zásade, keď hovoríme o procese, akým je napríklad proces JobTracker, hovoríme o vyťahovaní úloh z frontu, ktorý sa často považuje za pracovný front.
- Podľa tejto pracovnej fronty bude pracovnou úlohou, ktorá je najstaršia, tj tá, ktorá bola prvou, tá, ktorá bude rovnako vykonaná ako prvá.
- Toto sa vždy považovalo za oveľa jednoduchší prístup ako iné techniky plánovania, a preto sa veľa netrebalo so škriabaním tejto techniky, aby sa našli novšie prístupy s lepšími schopnosťami plánovania, pretože tiež obsahovali koncepcie dimenzovania a priority úlohy.
2. Plánovač kapacity spoločnosti Hadoop
- Plánovač kapacity Hadoop je viac-menej ako prístup FIFO s tou výnimkou, že využíva aj prioritizáciu úlohy. Tento prístup má trochu iný prístup, keď hovoríme o viacužívateľskej úrovni plánovania.
- Je známe, že tento plánuje a simuluje samostatný MapReduce Cluster pre každú organizáciu alebo používateľa a ktorý sa vykonáva spolu s typom plánu FIFO.
3. Plánovač spravodlivého typu Hadoop
- Ak je potrebné poskytnúť oddelené a primerané množstvo klastrovej kapacity s časom a obdobím, použijeme veľtrhový plánovač Hadoop. Je užitočné získať všetky zoskupenia, aj keď je konkrétna úloha v prevádzke.
- Okrem toho sú všetky voľné sloty klastra poskytované všetkým úlohám takým spôsobom, aby každý užívateľ získal normalizovaný podiel na časti svojho klastra, keď sa viac pracovných miest stane užitočnými na odoslanie.
- Ak existuje skupina, ktorá ešte nedostala svoju časť spravodlivého podielu a normalizovaný podiel počas primerane dobrého času a obdobia, potom nastane preempcia, ktorá zabíja všetky spojené úlohy a beží s kapacitou poskytovať tento fond. sloty na prevádzku pod kapacitou.
- Okrem toho je to tiež známe ako modul prispievania, čo znamená, že kopírovaním Hadoopovho riadiaceho a adresárovo orientovaného adresára do adresára lib a umiestnením súboru JAR na vhodné miesto môže byť táto technika plánovania povolená. Jediné, čo je potrebné urobiť, je nastavenie majetku plánovača úloh na mapred.FairScheduler.
4. Iné prístupy týkajúce sa plánovača
- Hadoop zaisťuje poskytovanie poskytovania virtuálnych zhlukov, čo znamená, že je potrebné minimalizovať potrebu mať fyzické skutočné zhluky a táto technika sa nazýva HOD (Hadoop on Demand).
- Využíva manažéra zdrojov založeného na krútiacom momente na udržanie uzlov a ich prideľovanie podľa požiadaviek virtuálneho klastra.
- Používa sa na inicializáciu zaťaženia a systému, ktorý je založený na konkrétnych uzloch vo virtuálnom a nie fyzickom klastri a tiež spolu s pridelenými uzlami, iba ak sa konfiguračné súbory pripravia automaticky.
- Klaster HOD by sa tiež mohol použiť pomerne nezávislým spôsobom, keď sa uskutoční inicializácia. Stručne povedané, model v skratke, ktorý sa používa na nasadenie týchto veľkých klastrov Hadoop, sa nachádza v cloudovej infraštruktúre a tomu sa hovorí HOD. Pomerne zdieľa menší počet uzlov, a preto poskytuje vyššiu úroveň zabezpečenia.
Dôležitosť použitia plánovačov Hadoop
- Z typov plánovačov Hadoop by malo byť jasné, kde leží dôležitosť použitia týchto plánovačov Hadoop. Ak prevádzkujete veľký klaster, ktorý má rôzne typy úloh, rôzne priority a veľkosti spolu s viacerými klientmi, potom vyberte správny druh plánovača Hadoop, aby sa stal dôležitým.
- Je to dôležité, pretože zaisťuje zaručený prístup k nevyužitej úrovni kapacity a optimálne využívanie zdrojov prostredníctvom efektívneho určovania priorít úloh v radoch. Aj keď táto časť plánovačov Hadoop je pomerne ľahká, použitie spravodlivých plánovačov je väčšinou tou správnou voľbou, ak dôjde k rozdielu medzi počtom a typmi klastrov bežiacich v jednej organizácii.
- Tento spravodlivý plánovač sa dá ešte stále použiť na zabezpečenie a nerovnomerné rozdelenie spoločnej kapacity úloh a vykonáva sa oveľa jednoduchším a konfigurovateľným spôsobom. Spravodlivý plánovač tiež prichádza k záchrane, keď hovoríme o prítomnosti diverzifikovaných druhov pracovných miest, pretože sa dá použiť na poskytnutie vyšších časov odozvy pre relatívne menšie pracovné miesta, ktoré sú zmiešané s väčšími druhmi pracovných miest, a podpora pre ne je zahrnutá v interaktívne použitie modelov.
- Plánovače kapacity sú užitočné, keď sa viac zaujímate o fronty namiesto úrovne vytvorených fondov a je k dispozícii aj konfigurovateľná úroveň mapy a redukcia typov pracovných miest a fronta si môže dovoliť získať zaručenú kapacitu klastra.
záver
V tomto príspevku čítame o plánovačoch Hadoop, ich význame, úvode, typoch plánovačov Hadoop, ich funkciách a tiež sme sa dozvedeli o dôležitosti týchto plánovačov Hadoop. Keď sa človek týka veľkého dátového ekosystému a prostredia, plánovači Hadoop sú niečo, o čom sa často nehovorí, ale má maximálny význam a nemožno si dovoliť zostať tak, ako je. Dúfam, že sa vám náš článok páčil.
Odporúčané články
Toto je sprievodca plánovačmi Hadoop. Tu diskutujeme úvod a 4 najdôležitejšie typy plánovača Hadoop s dôležitosťou jeho použitia. Viac informácií nájdete aj v nasledujúcich článkoch
- Swing komponenty v Jave
- JTabbedPane v Jave
- Chránené kľúčové slovo v jazyku Java
- JTextArea v Jave