Úvod do databázy Hadoop A:
Hadoop nie je úložisko údajov alebo relačné úložisko, používa sa hlavne na spracovanie veľkého množstva dátového skladu na distribuovaných serveroch. Ukladá súbory v HDFS (distribuovaný systém súborov Hadoop), ale nepovažuje sa za relačnú databázu. Relatívne databázy ukladajú údaje do tabuliek uvedených v presnej schéme. Hadoop bude ukladať neštruktúrované, pološtrukturované a štruktúrované údaje, zatiaľ čo starodávne databázy budú ukladať výlučne štruktúrované údaje. máme tendenciu robiť aktualizácie / úpravy údajov v HDFS, ktoré by mohli byť vyčerpané konvenčnými zvukovými jednotkami. Existujú prvky ako Hive, ktoré pracujú na špičkových HDFS a umožňujú používateľom spochybňovať údaje uchovávané v HDFS pomocou syntaxe podobnej SQL, ktorá sa označuje ako HiveQL. Na vyvolanie výsledkov interne používa MapReduce.
Čo je liek Hadoop?
Keď sa svet stáva hnacou silou ďalšieho dátového skladu ako kedykoľvek predtým, významnou výzvou sa stal spôsob, ako zvládnuť explóziu dátového skladu. starodávne rámce správy dátových skladov v súčasnosti využívajú veľké množstvo dnešných súborov údajov. Našťastie, rýchlo sa meniaca krajina najnovších technológií predefinuje, máme však tendenciu pracovať s údajmi v obrovskom rozsahu. Hadoop Database nie je druh údajov, ale skôr softvérový systém, ktorý umožňuje masívne paralelné výpočty. je to aktivátor viazaných odrôd distribuovaných databáz NoSQL (napríklad HBase), čo by mohlo umožniť rozloženie údajov na tisícoch serverov s veľmi malým znížením výkonu.
Čo je to relačná databáza?
Tradičný RDBMS (systém správy relačných databáz) je skutočným zvykom pre správu v celom veku webu. RDBMS sa však v súčasnosti považuje za klesajúcu dátovú technológiu. Zatiaľ čo presná organizácia údajov udržuje sklad veľmi strašne „čistý“, nevyhnutnosť kvalitnej štruktúry údajov sa skutočne stáva veľkou záťažou pri mimoriadne veľkých objemoch, čo vedie k poklesu výkonu, keď sa veľkosť zväčšuje. RDBMS sa teda zvyčajne nepovažuje za nevystúpiteľnú odpoveď na splnenie požiadaviek „veľkých“ údajov.
Aká bude budúcnosť RDBMS vo vzťahu k Hadoopu?
Spoločnosť Hadoop si nevymieňa RDBMS, len ich komplimentuje a dáva RDBMS potenciál prehltnúť obrovské objemy vyrábaného dátového skladu a spravovať ich výber a pravdivosť dodatočne, pretože poskytuje platformu úložného priestoru na HDFS s plochým dizajnom, ktorý uchováva údaje počas plochého dizajnu a poskytuje schému skenovania a analýzy. Obrovské údaje sú evolúciou, nie revolúciou, takže spoločnosť Hadoop nenahradí RDBMS, pretože sú rozumné pri správe relatívnych a transakčných údajov.
Ktorý prístup je najlepší RDBMS alebo Hadoop?
To všetko záleží. Zatiaľ čo výhody obrovskej analytiky údajov pri poskytovaní hlbších poznatkov, ktoré spôsobujú konkurenčnú výhodu, sú skutočné, tieto okraje vyplnia iba firmy, ktoré vykonávajú náležitú starostlivosť pri zabezpečovaní toho, aby viktimizácia spoločnosti Hadoop pre analýzu veľkých údajov najlepšie vyhovovala ich želaniam. dovoľte nám zatknúť sa, ak uľahčíme vaše obrovské porovnanie dátových platforiem.
Variácie medzi databázou Hadoop a relačnou databázou:
Podobne ako databáza Hadoop aj starú RDBMS nemožno použiť, akonáhle to vyžaduje metódu a ukladá nadmerné množstvo údajov alebo iba obrovské množstvo údajov. Nasledujú niektoré variácie medzi Hadoopom a starým RDBMS.
-
Objem údajov
Objem údajov naznačuje, že množstvo údajov sa uchováva a spracúva. RDBMS pracuje vyššie, len čo je množstvo dátových údajov nízke (v Gigabajtoch). akonáhle je veľkosť údajov veľká, tj v Terabytoch a Petabytoch, RDBMS nedokáže vzdať sa požadovaných výsledkov. Na druhú stranu, Hadoop pracuje vyššie, akonáhle je veľkosť dát obrovská. V porovnaní so štandardným RDBMS to bude jednoducho metóda a pomerne veľa údajov uložíme.
-
architektúra
Ak máme tendenciu poukazovať na dizajn, Hadoop má nasledujúce základné komponenty: HDFS (Hadoop Distributed File System), Hadoop MapReduce (programovací model na metódu rozsiahlych súborov údajov) a Hadoop YARN (používa sa na správu výpočtových prostriedkov v klastroch počítačov) ). Tradičné RDBMS majú vlastnosti ACID, ktoré sú atómová, konzistentná, izolácia a odolnosť.
-
priepustnosť
Priepustnosť naznačuje, že celý objem údajov sa spracováva počas explicitného množstva času, takže výstup je najviac. RDBMS nedokáže dosiahnuť lepší výstup v porovnaní s Apache Hadoop Framework.
-
Odroda údajov
Výber údajov zvyčajne naznačuje, že druh údajov sa spracuje. bude to štruktúrované, pološtrukturované a neštruktúrované. Hadoop má flexibilitu pre metódu a ukladá všetky formy dát, či už sú štruktúrované, pološtrukturované alebo neštruktúrované. Aj keď je to do značnej miery chcieť spracovať veľké množstvo neštruktúrovaných údajov.
-
Lehota latencie
Hadoop má vyšší výkon, budete mať rýchly prístup k dávkam obrovských množín údajov ako staroveký RDBMS, nemôžete však pristupovať k vybranému záznamu z množiny údajov veľmi rýchlo. Hadoop má preto nízku latenciu.
RDBMS je však relatívne rýchlejší pri získavaní údajov zo súborov údajov.
-
škálovateľnosť
RDBMS poskytuje vertikálnu kvantifikovateľnosť, ktorá sa ďalej označuje ako „zväčšenie“ stroja. Navrhuje sa, aby ste do stroja v klastri počítačov pridali ďalšie prostriedky alebo hardvér, napríklad pamäť, hardvér.
-
Spracovanie dát
Apache Hadoop podporuje OLAP (online analytické spracovanie), ktoré sa používa v technikách spracovania údajov .OLAP zahŕňa mimoriadne pokročilé dotazy a agregácie. rýchlosť spracovania údajov závisí od počtu údajov, ktoré môžu trvať mnoho hodín. Štýl údajov je denormalizovaný a má menej tabuliek. OLAP používa hviezdne schémy.
-
náklady
Hadoop by mohol byť bezplatný a otvorený rámec pre softvérový systém, nemusíte platiť tak, aby ste nakupovali licenciu na softvérový systém. Zatiaľ čo RDBMS by mohol byť autorizovaný softvérový systém, musíte zaplatiť, aby ste nakupovali celú licenciu na softvérový systém.
Záver - Je databáza Hadoop A?
Výber 1 platformy oproti druhému sa varí až nadol a používa prípady a potreby, ktoré mu najviac vyhovujú. Spoločnosť Hadoop sa na trhu presadila, pretože poskytuje flexibilitu systému RDBMS na správu kvantifikovateľnosti úložného priestoru. súčasne existuje veľa prípadov použitia, takže nie sú potrebné silné stránky relatívneho modelu. Ak napríklad nechcete mať záujem o transakcie ACID alebo podporu OLAP, je pravdepodobné, že budete používať Hadoop, zmenšite svoje celkové ceny o niečo trochu, a potláčajte výkonné (ale vo všeobecnosti nezrelé) možnosti, ktoré Hadoop Database potrebuje dodávať. Keďže obrovské množstvo údajov pokračuje v ceste rastu, nie je pochýb o tom, že tieto inovatívne prístupy - využívajúce návrh dát NoSQL a softvérový systém Hadoop - budú mať ústredný význam pri umožňovaní firmám dosiahnuť plný potenciál údajov.
Odporúčaný článok
Toto bol sprievodca Is Hadoop a Database. Tu diskutujeme o budúcnosti RDBMS vo vzťahu k Hadoopu a variáciám medzi databázou Hadoop a RDBMS. Ďalšie informácie nájdete aj v nasledujúcich článkoch:
- Je veľká dáta databáza?
- Je virtualizácia pomocou cloud computingu?
- Je MongoDB Open Source
- Je MongoDB NoSQL
- Aplikácie a vlastnosti Hadoop