Úvod do architektúry HBase
HBase je open-source, distribuovaný systém uchovávania údajov s kľúčovou hodnotou a stĺpcová databáza s vysokým výstupom zápisu a náhodným čítaním s nízkou latenciou. Pomocou HBase môžeme vykonávať online analýzy v reálnom čase. Architektúra HBase má silnú náhodnú čitateľnosť. V HBase sa údaje fyzicky zhromažďujú do oblastí známych ako regióny. Každá oblasť je hosťovaná jedným regionálnym serverom a za každý regionálny server je zodpovedná jedna alebo viac oblastí. Architektúra HBase sa skladá zo serverov typu master-slave. Klaster HBase má jeden hlavný uzol s názvom HMaster a niekoľko regionálnych serverov s názvom HRegion Server (HRegion Server). V každom regionálnom serveri je viac regiónov - regiónov.
Mechanizmus ukladania HDFS
V systéme HDFS sú údaje uložené v tabuľke, ako je uvedené vyššie.
Každý riadok má kľúč.
Stĺpec: Je to súbor údajov, ktorý patrí do jednej skupiny stĺpcov a je zahrnutý vo vnútri riadku.
Rodina stĺpcov: Každá rodina stĺpcov sa skladá z jedného alebo viacerých stĺpcov.
Každá tabuľka obsahuje kolekciu rodín stĺpcov. Tieto stĺpce nie sú súčasťou schémy.
HBase má dynamické stĺpce. Rôzne bunky môžu mať rôzne stĺpce, pretože názvy stĺpcov sú kódované vo vnútri buniek
Kvalifikácia stĺpca: Názov stĺpca sa nazýva kvalifikátor stĺpca.
Súčasti architektúry HBase
V architektúre HBase existujú hlavné prvky: HMaster a Region Server. Údaje o regionálnom ukladaní HBase.
1. HMaster
Uzol HMaster je ľahký a používa sa na priradenie oblasti k oblasti servera.
Hmaster má niekoľko hlavných povinností, ktoré sú:
- Vykonávanie niektorých administratívnych úloh vrátane načítania, vyváženia, vytvárania údajov, aktualizácie, mazania atď.
Zodpovedá za zmeny v schéme alebo za zmeny v údajoch META podľa smerovania klientskej aplikácie
- Veľa práce DDL na tabuľkách HBase sa riadi HMasterom.
Niektoré z metód, ktorým vystavuje rozhranie HMaster Interface, sú hlavne. META dátovo orientované metódy.
- Tabuľka (vytvorenie, odstránenie, povolenie, zakázanie, odstránenie tabuľky)
- ColumnFamily (pridať stĺpec, upraviť stĺpec)
- Región (presun, pridelenie)
Klient komunikuje s HMaster aj ZooKeeper obojsmerne. Priamo kontaktuje servery HRegion a číta a zapisuje operácie. HMaster prideľuje regióny serverom v regióne a následne kontroluje zdravotný stav regionálnych serverov.
2. Regionálny server
Hrubú predstavu o serveri regiónu môžeme získať pomocou schémy uvedenej nižšie.
Servery regiónu sú pracovné uzly, ktoré vybavujú požiadavky zákazníkov na čítanie, zápis, aktualizáciu a vymazanie. Region Server je ľahký, beží na všetkých uzloch v klastri Hadoop. Hlavnou úlohou regionálneho servera je ukladanie údajov v oblastiach a vykonávanie požiadaviek zákazníkov. Ďalšou dôležitou úlohou servera HBase Region je použitie metódy Auto-Sharding na vyrovnávanie záťaže dynamickým rozdeľovaním tabuľky HBase, keď sa po vložení údajov stane príliš veľká.
HMaster môže kontaktovať viacero serverov HRegion a vykonávať tieto funkcie:
- Spravovanie a hostenia regiónov
- Automaticky rozdeliť regióny
- Vybavovanie žiadostí o čítanie a písanie
- Priama komunikácia so zákazníkmi
3. HDFS
HDFS je skratka pre systém Hadoop Distributed File. Uloží každý súbor v niekoľkých blokoch a replikuje bloky v klastri Hadoop, aby sa zachovala odolnosť proti chybám. HDFS poskytuje vysokú odolnosť proti chybám a pracuje s lacnými materiálmi. Použitím lacného komoditného hardvéru na pridanie uzlov do klastra a jeho spracovanie a uloženie poskytne zákazníkovi lepšie výsledky ako existujúci hardvér. HDFS kontaktuje komponenty HBase a distribuuje veľké množstvo údajov.
4. Zookeeper
Zookeeper je projekt s otvoreným zdrojom. HMaster a HRegionServers sa registrujú v ZooKeeper.
Poskytuje rôzne služby, ako je udržiavanie konfiguračných informácií, pomenovávanie, poskytovanie distribuovanej synchronizácie atď. Distribuovaná synchronizácia je proces poskytovania koordinačných služieb medzi uzlami na prístup k spusteným aplikáciám. Má efemérne uzly, ktoré predstavujú regionálne servery. Hlavné servery používajú tieto uzly na vyhľadávanie dostupných serverov.
Tieto uzly sa tiež používajú na sledovanie sieťových oddielov a zlyhaní servera. Zookeeper je interakčné médium medzi serverom pre klientsku oblasť. Ak chce klient komunikovať s regionálnym serverom, potom je zookeeper komunikačným médiom medzi nimi.
Ako sa inicializuje vyhľadávanie v architektúre HBase
Ako viete, umiestnenie tabuľky META ukladá Zookeeper. Kedykoľvek sa zákazník priblíži alebo píše žiadosti o HBase, postup je nasledujúci.
Zákazník zistí od ZooKeeper, ako umiestniť stôl META. Klient potom od nich žiada príslušný riadkový kľúč od META tabuľky, aby získal prístup k umiestneniu regionálneho servera. Pri umiestnení tabuľky META zákazník ukladá tieto informácie do vyrovnávacej pamäte. Zákazník sa na ne nebude odvolávať na tabuľku META, pokiaľ a keď sa oblasť posunie alebo posunie. Potom bude server META požiadaný znova a vyrovnávacia pamäť bude aktualizovaná. Ako vždy, zákazníci nestrácajú čas hľadaním umiestnenia Region Server na serveri META, takže šetria čas a zrýchľujú proces vyhľadávania.
Vlastnosti
S Hadoopom je ľahké integrovať sa zo zdroja aj z cieľa.
Distribuované úložisko ako HDFS je podporované.
Má funkciu náhodného prístupu pomocou vnútornej tabuľky hash na ukladanie údajov pre rýchlejšie vyhľadávanie v súboroch HDFS.
Výhody architektúry HBase
- Môžu ukladať veľké súbory údajov
- Môžeme zdieľať databázu
- Gigabajty na petabajty sú nákladovo efektívne
- Vysoká dostupnosť prostredníctvom replikácie a zlyhania
Nevýhody architektúry HBase
- Štruktúra SQL nepodporuje
- Nepodporuje transakciu
- Iba s kľúčom zoradeným
- Problémy s klastrovou pamäťou
záver
HBase je jednou z distribuovaných databáz NonSql orientovaných na stĺpce v apache. Pri porovnaní s Hadoop alebo Hive má HBase lepšie výsledky pri získavaní menšieho počtu záznamov. V tomto článku sme preto diskutovali o architektúre HBase a jej dôležitých komponentoch.
Odporúčané články
Toto bol sprievodca pre HBase Architecture. Tu sme diskutovali o koncepte, komponentoch, prvkoch, výhodách a nevýhodách. Ak sa chcete dozvedieť viac, môžete si tiež prečítať naše ďalšie navrhované články -
- Čo je technológia Big Data Technology?
- HDFS vs HBase, ktorý je lepší
- Čo je to jazyk zhromaždenia?
- Úvod do HTML