Čo je dátový sklad?
V jazyku výpočtov je dátový sklad tiež skrátene DW alebo DWH, známy tiež ako EDW (Enterprise data Veľkoobchod), čo je systém používaný na podávanie správ a analýzu údajov o surových údajoch. Považuje sa za jednu z najdôležitejších a najdôležitejších zložiek podnikových informácií. Sú centrálnymi úložiskami integrovaných údajov, ktoré sa získavajú z viacerých zdrojov. Aktuálne a historické údaje sú v nich uložené na jednom mieste. Používa sa na vytváranie analytických správ pre všetkých pracovníkov v celom podniku. Dáta uložené v sklade sú načítané z operačných systémov, ktoré sú vo všeobecnosti marketingové alebo predajné. Tieto dáta potom prechádzajú cez sklad prevádzkových údajov a môžu si vyžadovať aj vyčistenie údajov, len aby sa zabezpečilo dodanie správnej kvality údajov predtým, ako sa použijú v dátovom sklade na vykazovanie. Potom prichádza aktivita ETL (extrakt, transformácia, načítanie), ktorá využíva vrstvy postupovania, integrácie údajov a prístupu a využíva kľúčové funkcie.
definícia:
Dá sa definovať ako veľký súbor údajov o akumulovaných údajoch získaných z rôznych zdrojov v rámci firmy, a preto sa používa na usmernenie manažérskych rozhodnutí. Môže sa tiež definovať ako technika na zhromažďovanie a správu údajov z rôznych zdrojov na generovanie zmysluplných poznatkov po uplatnení niektorých základných úrovní transformačných procesov, čím je výroba pripravená na podnikanie. Je to zmes komponentov a technológií, aby bolo možné strategické využitie údajov.
Pochopenie skladu údajov:
Ak sa pokúsime pochopiť koncepciu skladovania údajov vo veľmi jednoduchších termínoch, znamená to systém, ktorý sa používa na vykazovanie a ukladanie údajov. Dáta sa pôvodne generujú vo viacerých systémoch, ako je napríklad nejaká forma RDBMS, Oracle, Mainframes, atď., Potom sa presunú do dátového skladu na dlhodobé uloženie a môžu sa použiť na analytické účely. Toto úložisko je štruktúrované tak, aby používatelia z mnohých divízií alebo oddelení jednej organizácie mali prístup k údajom a mohli ich analyzovať podľa svojich vlastných potrieb a požiadaviek. Dátové sklady sú analytické nástroje, ktoré sú zostavené výlučne s cieľom poskytnúť podporu v rozhodovacom procese a systém podávania správ používateľom pre mnoho oddelení. Sú to tiež archívne údaje, ktoré pozostávajú z historických údajov o využívaní organizácie, ktoré nie sú konkrétne udržiavané v operačných systémoch. V podstate sa používajú na vytvorenie jedinej verzie pravdy pre celú organizáciu.
Ako uľahčuje dátový sklad prácu?
Udržuje kópiu informácií a údajov zo zdrojových transakčných systémov. To tiež:
- Integruje údaje z viacerých zdrojov a vkladá do jednej databázy alebo modelu, teda jediného vyhľadávacieho nástroja
je možné použiť na vloženie údajov do ODS (úložisko prevádzkových údajov). - Pomáha pri zmierňovaní problému so zámkom na úrovni izolácie databázy, ktorý bol vo všeobecnosti spôsobený veľkými, dlhodobými analytickými dotazmi.
- História údajov je udržiavaná, aj keď ju zdrojové transakčné systémy neudržujú.
- Po vložení všetkých údajov z viacerých zdrojov je možné vidieť centrálny pohľad na podnik.
- Zlepšuje sa konzistentnosť kódu a popisy a dokonca aj opravenie chybných údajov. V podstate ovplyvňuje celkovú kvalitu údajov.
Najlepšie spoločnosti:
- Teradata: Táto spoločnosť je na prvom mieste v zozname, keď ide o prácu s technológiou dátového skladu. Prináša na stôl viac ako 30 rokov histórie. Spoločnosť má vlastný softvér Teradata, ktorý používa väčšina spoločností zaoberajúcich sa ukladaním údajov vo svojich organizáciách, najmä všetky banky. Táto spoločnosť má vždy nejaké nové inovácie, ktoré prináša, vrátane najnovších technológií založených na technológii Hadoop.
- Oracle: Toto je tradičná spoločnosť, ktorá ako prvá prišla na myseľ, keď hovoríme o relačných databázach. Databáza 12c bola neprekonateľná a je známa svojimi vysokovýkonnými štandardmi, rozsahom a optimalizovaným skladovaním údajov. Techniky kompresie sú nové funkcie, ktoré táto spoločnosť poskytuje v priestore dátového skladu.
- Amazon Web services: Tento IaaS Amazonu v oblasti cloud computingu je o celej transformácii a migrácii ukladania údajov a skladovania do cloudu, čo dalo skladovaniu dát úplne novú definíciu.
- Cloudera: Patrí medzi najlepšie spoločnosti v oblasti dátového skladu a technológie veľkých dát, pretože poskytuje EDH (Enterprise data hub) pre veľké množstvo dátových úložísk, ktoré sa zameriavajú na dávkové spracovanie. Ich dátový sklad je založený na CDH.
- MarkLogic: Táto spoločnosť poskytuje databázovú platformu NoSQL. Toto dalo nový rozmer, keď spoločnosti začali veriť moci NoSQL potom, čo bola zavedená touto spoločnosťou.
Čo môžete urobiť s dátovým skladom?
- ťažba
- čistiace
- premena
- Načítava
- Obnoviť
- predpoveď
- Štatistická analýza
- Rozhodovanie
Práca s dátovým skladom:
Surové údaje sa najprv naformátujú, nazývajú sa aj čistenie a normalizácia, pričom sa spracúvajú a transformujú podľa obchodných požiadaviek a odstraňujú sa nezrovnalosti z nespracovaných údajov. Potom sa uloží do samotného dátového skladu. Prístupová vrstva umožňuje aplikáciám a nástrojom získavať e dáta vo formáte vyhovujúcom ich potrebám. Existuje aj ďalší aspekt architektúry, ktorá sa týka časti týkajúcej sa metadát, ktorá sa používa hlavne na účely vedcov a technikov na zhromažďovanie informácií o zdrojoch, názvových konvenciách, plánoch obnovy atď.
výhody:
- Integrácia viacerých zdrojov
- Vykonávanie novej analýzy
- Znížené náklady na prístup k historickým údajom
- Štandardná jediná verzia pravdy
- Pomáha pri skvalitňovaní času na spracovanie a analýzu údajov
schopnosti:
- Široké videnie
- Komunikačné schopnosti
- Pochopenie údajov a procesov
- Schopnosť analyzovať
- Všeobecné znalosti systémov a aplikácií
Prečo by sme mali používať skladovanie údajov:
Mali by sme používať ukladanie údajov, aby sme mohli našej organizácii poskytnúť jedinú verziu pravdy s požadovanými údajmi spolu so žiadnou inou výpočtovou réžiou nad spracovanými transakčnými zdrojmi. OLAP sa bude starať o časť analytického spracovania, a preto je možné so skladovaním údajov poskytnúť aj obchodné informácie a zmysluplné generovanie informácií.
Rozsah:
Rozsah skladovania údajov je v akejkoľvek doméne, ktorá má v súčasnosti niečo spoločné s analytikou a tiež v cloudovej doméne. Môžete sa stať DW inžinierom alebo konzultantom, alebo si dokonca urobiť plynulú cestu k technológiám veľkých dát. Môžete sa tiež tešiť na to, že ste vedec údajov. Rozsah údajov je nekonečný, rovnako ako rozsah pre ukladanie údajov.
Prečo potrebujeme dátový sklad?
Potrebujeme dátový sklad, pretože nemá zmysel využívať viaczdrojové systémy a nedokážeme okamžite získať všetky požadované informácie. Aj historické údaje, ak nie sú prístupné, neprinášajú organizácii ako celku veľa výhod. Preto je možné generovať zmysluplné informácie zo surových údajov pomocou analytických a dopytovacích nástrojov, a preto sa do obrázka dostáva skladovanie údajov.
Kto je tým správnym publikom na výučbu techník skladovania údajov?
Každý, kto má správne zmýšľanie, má širokú víziu, je dobrý v chrumkaní údajov, má dobré zručnosti v oblasti dotazovania, má záujem o technológie súvisiace s údajmi, má dobré analytické schopnosti, je ideálnym kandidátom na učenie a začatie používania technológií skladovania údajov.
Ako táto technológia pomôže v kariérnom raste?
Táto technológia robí najkritickejšiu časť akejkoľvek organizácie, ktorá je drvením údajov a schopnosťou generovať prehľady analýzou. Z tohto dôvodu je možné pomocou použitia tejto technológie získať zmysluplné informácie zo surových údajov. Môžete tiež hľadať transformáciu vašej cesty do ekosystému veľkých údajov a neskôr vedy o údajoch, ak ste oboznámení s jej základňou.
záver:
Skladovanie údajov bolo doteraz chrbtovou kosťou mnohých organizácií a bude tomu tak aj naďalej. Doména a definícia sa však každým dňom zvyšuje, pretože sa objavuje toľko nových technológií a nástrojov. Cesta do tohto priestoru je jedným z najlepších rozhodnutí v oblasti analytiky, pretože to tvorí základ a pomáha vám pochopiť, ako presne funguje spracovanie údajov a aké procesy na pozadí sa s nimi riadia. Dúfam, že sa vám článok páčil. Prečítajte si ďalšie informácie.
Odporúčané články
Toto bol sprievodca skladom What is Data. Tu sme diskutovali o výhodách, požadovaných zručnostiach a kariérnom raste dátového skladu. Viac informácií nájdete aj v ďalších navrhovaných článkoch -
- Čo je to Analýza údajov
- Čo je dolovanie dát?
- Čo je Big data and Hadoop
- Čo je umelá inteligencia