Prehľad dátového jazera
Dátové jazero je úložisko, v ktorom môžeme ukladať veľké množstvo pološtrukturovaných, štruktúrovaných a neštruktúrovaných údajov. Jedinečné ID so sadou rozšírených značiek metaúdajov je priradené všetkým dátovým prvkom dátového jazera. Keď vznikne obchodná otázka, môžete požiadať o relevantné údaje a potom analyzovať menšie údaje, ktoré vám pomôžu odpovedať na otázku. Jazero má plochú architektúru, na rozdiel od hierarchického dátového skladu, v ktorom sú údaje uložené v súboroch a priečinkoch. Bez predchádzajúceho štruktúrovania údajov môžete svoje informácie ukladať tak, ako sú, a my môžeme spustiť rôzne typy analýz, ako sú dashboardy a vizualizácie, na veľké spracovanie údajov, analýzu v reálnom čase a strojové učenie, aby sme mohli lepšie rozhodovať.
Jazero používajú profesionáli, ako sú vedci údajov, vývojári údajov a obchodní analytici, na ukladanie veľkého množstva údajov.
Používa sa v jazere je nerelačný a relačný zo zariadení IoT, webových stránok, mobilných aplikácií atď. V schéme je napísaný v čase analýzy, tj schéma čítania. Výsledok po vykonaní dotazu je rýchlejší.
Prečo potrebujeme dátové jazero?
Vybudovaním jazera môžu vedci údajov vidieť nedefinovaný pohľad na údaje.
Dôvody na jeho použitie sú tieto:
Spoločnosť, ktorá zo svojich údajov vytvára obchodné výhody, úspešne prevyšuje úroveň rovesníkov. V prieskume v Aberdeene bola spoločnosť, ktorá založila dátové jazero, o 9% vyššia ako v prípade organických spoločností v oblasti rastu výnosov. Títo vedúci predstavitelia dokázali v jazere vykonávať nové typy analýz, ako je strojové učenie, prostredníctvom nových zdrojov, ako sú súbory denníkov, údaje o prúde údajov, sociálne médiá a pripojenie na internet.
Podporuje import údajov, ktoré prichádzajú v reálnom čase. Dáta sa zbierajú z viacerých zdrojov a potom sa premiestnia do jazera v pôvodnom formáte. Jazero poskytuje vyššiu škálovateľnosť údajov. Tiež môžete vedieť, aký typ údajov je v jazere indexovaním, indexovým prehľadávaním a katalogizáciou údajov.
Podporuje správu dát, ktorá riadi dostupnosť, použiteľnosť, bezpečnosť a integritu údajov.
Môže to pomôcť výskumným a vývojovým tímom overiť ich hypotézu, spresniť predpoklady a vyhodnotiť výsledky.
Nie je k dispozícii žiadna štruktúra sila.
Zákazníkom ponúka 360-stupňový pohľad a podrobnú analýzu.
Kvalita analýzy sa tiež zvyšuje so zvyšujúcim sa objemom údajov, kvalitou údajov a metaúdajmi.
- Úložné motory ako Hadoop uľahčili ukladanie rôznych informácií. Údaje s jazerom nie je potrebné modelovať v rámci celej spoločnosti.
- Kvalita analýz sa zvyšuje aj so zvyšujúcim sa objemom údajov, kvalitou údajov a metaúdajmi.
- Ponúka obchodnú obratnosť
- Na ziskové predpovede je možné použiť strojové učenie a umelú inteligenciu.
Architektúra dátového jazera na Hadoop, AWS a Azure
Dátové jazero má dve zložky: ukladanie a výpočet. Ukladací priestor a výpočtová technika sa môžu nachádzať na mieste alebo v cloude. Výsledkom je návrh architektúry dátového jazera vo viacerých možných kombináciách.
1. Hadoop
Distribuovaný klaster servera Hadoop rieši problém s ukladaním veľkých dát. MapReduce je programovací model Hadoop používaný na rozdelenie a spracovanie informácií na menšie podmnožiny v serverovom klastri.
2. AWS
Produktový rad AWS pre svoje riešenie dátového jazera je komplexný. Amazon S3 je v centre riešenia ukladacej funkcie. Tieto nástroje na príjem údajov, ktoré nám umožňujú prenášať veľké množstvo údajov do S3, sú Kinesis Stream, Kinesis Firehose, Snowball a Direct Connect.
Okrem Amazonu S3, databáza NoSQL, Dynamo DB a Elastic Search ponúkajú zjednodušený proces dotazovania. AWS ponúka širokú škálu produktov so strmou úvodnou krivkou učenia. Komplexné vlastnosti riešenia sa však často používajú v komerčných spravodajských aplikáciách.
3. Azúrová
Spoločnosť Micro-soft ponúkla dátové jazero. Dátové jazero Azure má analytickú a úložnú vrstvu, ktorá sa nazýva Azure Store (ADLS) a dve zložky, ktoré má analytická vrstva, sú Azure Analytics a HDInsight. Štandard ADLS bol postavený na HDFS a je schopný neobmedzeného ukladania. Pomocou jedného súboru dokáže uložiť bilióny súborov väčších ako petabajt. Azure Store umožňuje ukladanie, zabezpečenie a škálovateľnosť údajov v akomkoľvek formáte.
výhody
Niektoré dôležité body sú uvedené nižšie
- Poskytuje neobmedzenú hodnotu typu údajov
- Prispôsobiteľné na rýchle zmeny
- Náklady na dlhodobé vlastníctvo sa znižujú
- Jeho hlavnou výhodou je centralizácia rôznych zdrojov obsahu
- Používatelia z rôznych oddelení na celom svete môžu mať flexibilný prístup k údajom
- Poskytuje ekonomickú škálovateľnosť a flexibilitu
nebezpečenstvo
- Po určitom čase by to mohlo stratiť význam a dynamiku.
- Pri navrhovaní existuje väčšie riziko
- To tiež zvyšuje náklady na skladovanie a výrobky
- Najväčším rizikom je bezpečnosť a kontrola prístupu. Údaje môžu byť niekedy umiestnené do jazera bez dozoru, pretože niektoré údaje možno bude potrebné chrániť a regulovať.
Odporúčané články
Toto bol sprievodca pre Čo je to dátové jazero ?. Tu sme diskutovali o koncepcii, prečo potrebujeme dátové jazero spolu s ich výhodami a rizikami. Ak sa chcete dozvedieť viac, môžete si tiež prečítať naše ďalšie navrhované články.
- Moderná integrácia dát
- Čo je to Analýza údajov
- Čo je porušenie údajov?
- Data Scientist vs Big Data
- Dátové jazero vs. dátový sklad rozdiely