Čo je to MapReduce Algorithm?
Algoritmus MapReduce je inšpirovaný hlavne modelom funkčného programovania. Používa sa na spracovanie a generovanie veľkých dát. Tieto dátové súbory sa môžu spúšťať súčasne a distribuovať sa v klastri. Program MapReduce pozostáva hlavne z mapovej procedúry a redukčnej metódy na vykonanie operácie zhrnutia, ako je spočítanie alebo poskytnutie niektorých výsledkov. Systém MapReduce pracuje na distribuovaných serveroch, ktoré bežia paralelne a spravujú všetku komunikáciu medzi rôznymi systémami. Tento model je špeciálnou stratégiou stratégie split-Apply-Combin, ktorá pomáha pri analýze údajov. Mapovanie sa vykonáva triedou Mapper a redukuje sa úloha triedy Reducer.
Pochopenie algoritmu MapReduce
Algoritmus MapReduce funguje hlavne v troch krokoch:
- Funkcia mapy
- Funkcia náhodného výberu
- Znížte funkciu
Diskutujme o každej funkcii a jej zodpovednostiach.
1. Funkcia mapy
Toto je prvý krok algoritmu MapReduce. Berie množiny údajov a distribuuje ich do menších čiastkových úloh. To sa ďalej deje v dvoch krokoch, rozdelením a mapovaním. Rozdelenie vezme vstupný súbor údajov a rozdelí množinu údajov, zatiaľ čo mapovanie vezme tieto podmnožiny údajov a vykoná požadovanú akciu. Výstupom tejto funkcie je pár kľúč - hodnota.
2. Funkcia náhodného výberu
Toto je tiež známe ako funkcia kombinovania a zahŕňa zlučovanie a triedenie. Zlúčenie kombinuje všetky páry kľúč - hodnota. Všetky z nich budú mať rovnaké kľúče. Zoradenie prevezme vstup z kroku zlúčenia a pomocou kľúčov zoradí všetky páry kľúč - hodnota. Tento krok sa vráti aj k párom kľúč - hodnota. Výstup bude zoradený.
3. Znížte funkciu
Toto je posledný krok tohto algoritmu. Vyberie páry kľúč - hodnota z náhodného výberu a zredukuje činnosť.
Ako uľahčuje MapReduce algoritmy prácu?
Systémy relačných databáz majú centralizovaný server, ktorý pomáha pri ukladaní a spracovávaní údajov. Zvyčajne to boli centralizované systémy. Keď na obrázok príde viac súborov, spracovanie je zdĺhavé a vytvára úzke miesto pri spracovávaní viacerých súborov. MapReduce mapuje množinu údajov a prevádza množinu údajov, v ktorej sú všetky údaje rozdelené na n-tice, a úloha redukcie vezme výstup z tohto kroku a skombinuje tieto dátové n-tice do menších množín. Funguje v rôznych fázach a vytvára páry kľúč - hodnota, ktoré je možné distribuovať v rôznych systémoch.
Čo môžete robiť s MapReduce Algorithms?
MapReduce sa dá použiť s rôznymi aplikáciami. Môže sa použiť na distribuované vyhľadávanie podľa vzorov, distribuované triedenie, obrátenie grafu weblink, štatistiky denníka prístupu na web. Môže tiež pomôcť pri vytváraní a práci na viacerých klastroch, stolných sieťach, prostrediach dobrovoľných výpočtov. Dá sa tiež vytvoriť dynamické cloudové prostredie, mobilné prostredie a tiež vysokovýkonné počítačové prostredie. Google využil MapReduce, ktorý regeneruje index Google na webe. Jeho používaním sa staré programy ad hoc aktualizujú a vykonávajú rôzne druhy analýz. Integroval tiež výsledky aktívneho vyhľadávania bez toho, aby sa znova vytvoril kompletný index. Všetky vstupy a výstupy sú uložené v distribuovanom systéme súborov. Prechodné údaje sú uložené na lokálnom disku.
Práca s algoritmom MapReduce
Ak chcete pracovať s algoritmom MapReduce Algorithm, musíte poznať celý proces jeho fungovania. Prijímané údaje prechádzajú nasledujúcimi krokmi:
1. Vstupné rozdelenia: Akékoľvek vstupné údaje, ktoré prichádzajú do úlohy MapReduce, sa rozdelia na rovnaké časti známe ako vstupné rozdelenia. Je to kus vstupu, ktorý môže využiť ktorýkoľvek z mapovačov.
2. Mapovanie: Keď sa údaje rozdelia na kúsky, prechádza fázou mapovania v programe na zníženie mapy. Tieto rozdelené údaje sa odovzdajú do mapovacej funkcie, ktorá vytvára rôzne výstupné hodnoty.
3. Zamiešanie: Po dokončení mapovania sa údaje odošlú do tejto fázy. Jeho úlohou je spojiť požadované záznamy z predchádzajúcej fázy.
4. Redukcia: V tejto fáze sa agreguje výstup z fázy miešania. V tejto fáze sa všetky hodnoty zamiešajú a spoja agregáciou, takže vráti jednu výstupnú hodnotu. Vytvára zhrnutie celého súboru údajov.
Výhody MapReduce Algorithm
Aplikácie, ktoré používajú MapReduce, majú nasledujúce výhody:
- Bola im poskytnutá konvergencia a dobrý všeobecný výkon.
- S údajmi je možné zaobchádzať pomocou aplikácií náročných na údaje.
- Poskytuje vysokú škálovateľnosť.
- Počítanie všetkých výskytov každého slova je ľahké a má rozsiahlu zbierku dokumentov.
- Na vyhľadávanie v mnohých analýzach údajov možno použiť všeobecný nástroj.
- Ponúka čas vyrovnávania záťaže vo veľkých klastroch.
- Pomáha tiež v procese získavania kontextu umiestnenia používateľa, situácií atď.
- Má rýchly prístup k veľkým vzorkám respondentov.
Prečo by sme mali používať algoritmus MapReduce?
MapReduce je aplikácia, ktorá sa používa na spracovanie obrovských množín údajov. Tieto súbory údajov môžu byť spracovávané paralelne. MapReduce môže potenciálne vytvárať veľké množiny údajov a veľké množstvo uzlov. Tieto veľké súbory údajov sú uložené na HDFS, čo uľahčuje analýzu údajov. Dokáže spracovať akýkoľvek druh údajov, ako sú štruktúrované, neštruktúrované alebo pološtrukturované.
Prečo potrebujeme algoritmus MapReduce?
MapReduce rýchlo rastie a pomáha pri paralelnom výpočte. Pomáha pri určovaní ceny produktov a pri dosahovaní najvyšších ziskov. Pomáha tiež pri predpovedaní a odporúčaní analýzy. Umožňuje programátorom spúšťať modely na rôznych množinách údajov a používa pokročilé štatistické techniky a techniky strojového učenia, ktoré pomáhajú pri predpovedaní údajov. Filtruje a odosiela údaje do rôznych uzlov v klastri a funguje podľa funkcie mapovača a redukcie.
Ako vám táto technológia pomôže v kariérnom raste?
Hadoop patrí v súčasnosti medzi najvyhľadávanejšie pracovné miesta. Urýchľuje rýchlosť a príležitosť, ktorá v tejto oblasti rastie veľmi rýchlo. V tejto oblasti bude ešte boom. IT odborníci, ktorí pracujú v Jave, majú plus, pretože sú najvyhľadávanejšími ľuďmi. Vývojári, dátoví architekti, dátový sklad a odborníci v oblasti BI si môžu od učenia tejto technológie odniesť obrovské sumy platov.
záver
MapReduce je základom rámca Hadoop. Naučíte sa to určite dostanete na trh dátovej analýzy. Môžete sa to dôkladne naučiť a spoznať, ako sa spracovávajú veľké súbory údajov a ako táto technológia prináša so spracovaním a ukladaním údajov zmenu.
Odporúčané články
Toto je sprievodca MapReduce Algorithms. Tu diskutujeme o koncepte, porozumení, práci, potrebe, výhodách a kariérnom raste. Ak sa chcete dozvedieť viac, môžete si tiež prečítať naše ďalšie navrhované články -
- MapReduce Interview Otázky
- Čo je MapReduce v Hadoope?
- Ako funguje MapReduce?
- Čo je to MapReduce?
- Rozdiely medzi Hadoop a MapReduce
- Rôzne operácie súvisiace s n-ticami