Úvod do dizajnu dátového skladu
Spoločným slovným skladom je ukladanie niečoho na jednom mieste a podobných prípadov v priemysle na ukladanie komplexného množstva údajov na jednom mieste. Business Intelligence (BI) vám umožňuje vyhľadávať údaje z dátových zdrojov a dôveru je možné dosiahnuť iba v prípade dobrého dizajnu dátového skladu.
Dátový sklad integruje viacero zdrojov údajov a bude poskytovať dobrú podporu analytickému a analytickému vykazovaniu. Ak máte zlý dizajn dátového skladu, bude mať nepresný údaj o dopyte vplyv na rast vašej organizácie.
Zoberme si príklad popularity internetového obchodu Amazon tak, že si objednáte predmet, ktorý je možné dodať na dosah ruky. Keď sa zákazník prihlási na stránku elektronického obchodu a vyhľadá produkt, ktorý je k dispozícii v obchode. Potom sme vybrali a objednali položku, len čo dodávateľ prijme a okamžite ju odošle. Tu môžeme ušetriť čas na nákup požadovanej položky.
Podobný prípad ako v tomto dátovom sklade môžu byť tiež uložené a obstarané z transakčného systému. Dátový sklad ako dva hlavné koncepcie
- OLAP - online analytické spracovanie
- OLTP - online transakčné spracovanie
Oba systémy sú online, ale majú určité rozdiely. OLTP spravuje transakčné aplikácie ako ATM, OLAP používa na analytické spracovanie, ako je podávanie správ, predpovedanie atď.,
Zhromažďovanie požiadaviek
- Zhromažďovanie požiadaviek je jednou fázou v návrhu dátového skladu. Musí určiť kritériá a úspešne ich implementovať. Pri návrhu dátového skladu sa použijú dve stratégie, jedna sa nazýva podnikanie a druhá sa nazýva technická.
- Obchodná stratégia sa zameriava na dlhodobé obchodné hľadisko a pomáha zvyšovať zisk pre rast. Požiadavka na technickú stratégiu je založená na vykazovaní používateľov, analýze, výbere hardvéru, metóde vývoja, testovacej technike, implementačnom prostredí a školeniach používateľov.
- Keď sme určili obchodnú a technickú stratégiu, musíme tiež navrhnúť plán BCP (Disaster Recovery). Ak dôjde k katastrofe spôsobenej človekom alebo prírodou, musíme mať plán na rýchle obnovenie údajov a zaistenie toho, aby sa nestratili žiadne údaje. Vypracovanie plánu obnovy po katastrofe je jednou z náročných úloh a vytvára dôveru pre organizáciu.
Nastavenie prostredia
- Keď sme zhromaždili údaje pre návrh dátového skladu, musíme vytvoriť vhodné prostredie pre vývoj, testovanie a výrobu. Prednostne by mal existovať samostatný systém pre aplikáciu, databázu a samostatný pre vykazovanie / ETL.
- Pri budovaní samostatného prostredia pre každú sa zabezpečí, že všetky zmeny sa môžu vyvíjať / testovať a potom sa presunúť do výroby.
- Ak máme jednotné prostredie, ktoré je určené pre všetky tieto činnosti, mohlo by to skončiť vydaním a stratou údajov. Napríklad, keď dôjde k incidentu v systéme, nemohli sme sa navigovať a nájsť spôsob, ako to napraviť, a je to zložitejšie.
Modelovanie dát
- Po nastavení zhromažďovania požiadaviek a prostredia je ďalšou možnosťou navrhnúť spôsob pripojenia zdroja údajov, spracovania a uloženia v dátovom sklade. Táto technika sa nazýva modelovanie údajov. Môže to byť analýza predmetu a vzťahu medzi ostatnými.
- Pri návrhu dátového skladu inžinieri navrhli, ako a kde je potrebné údaje uložiť. Pri rovnakej príležitosti by sme mali tiež definovať možný spôsob, ako načítať údaje z dátového skladu. Po identifikácii zdroja môže tím zostaviť logiku a vytvoriť zobrazenie schémy štruktúry.
Typy dátového modelu
Existujú tri typy
- koncepčný
- logický
- fyzický
Nižšie sú uvedené tri typy dátového modelu:
1. Koncepčný: Hovorí, ČO systém obsahuje a je navrhnutý obchodnými architektmi, aby definovali rozsah obchodnej stratégie.
2. Logické: Toto definuje AKO logické môže byť vytvorené v DBMS, navrhne ho Business Analyst a Data Architect na vytvorenie súboru pravidiel na ukladanie / získavanie údajov.
3. Fyzické: Definuje, AKO sa môže systém implementovať.
Použitie dizajnu dátového skladu
Byť dobrým dizajnom dátového skladu môže byť pri získavaní údajov časovo náročné. Každý krok musí nasledovať efektívne, aby bol systém dobrý. Pomôže organizácii spracovať zložité typy údajov a zvýšiť produktivitu na základe analýzy trendov. Každý krok pri navrhovaní architektúry DWH je pri výberovej metóde dôležitejší a uvedomelejší. Organizácia následne vstupuje do každého toku a vedie k úspešnej implementácii dátového skladu.
Existuje len niekoľko dôležitých použití dátových skladov
1. Bankovníctvo: Väčšina bánk používa dátový sklad na ukladanie veľkého množstva transakčných údajov a schopnosť rýchlejšie získať údaje z dotazov. Môže sa spravovať ako údaje o zákazníkoch, trendy na trhu, správy, analýzy atď.,
2. Finančný priemysel: Je to podobné bankovníctvu, ale jediným zameraním je zlepšenie finančných zmien analýzou údajov o zákazníkoch
3. Vláda: Vláda dnes spravuje veľa údajov online a ukladá ich do relačnej databázy. Každé údaje majú vzájomný vzťah, napríklad Aadhaar, PAN je spojený s mnohými zdrojmi.
4. Zdravotníctvo: Zdravotnícki manažéri a služby toľko informácií. Udržuje klinické údaje, záznamy zákazníkov a pomáha im predpovedať výsledky, analyzovať spätnú väzbu a generovať správy.
5. Poistenie: Poisťovňa sa primárne používa pre vzorce údajov, zákaznícky trend a vedenie záznamov.
6. Výrobný a distribučný priemysel: Najčastejšie sa používa vo všetkých odvetviach na uchovávanie informácií o položkách a pomáha im predpovedať dopyt po položkách na výrobu a predaj. Analýza predanej položky, ktorá poskytuje lepšie techniky rozhodovania.
7. Maloobchodné služby: Maloobchodníci sú sprostredkovateľom medzi výrobcom a zákazníkom. Dátový sklad im pomáha pri propagácii a trendoch pri nákupe tovaru.
8. Telefónny priemysel: Telefónny priemysel spravuje veľa historických údajov, ktoré pomáhajú pri vývoji trendu v údajoch o zákazníkoch a zameriavajú sa na presadzovanie reklamných kampaní.
Výhody dátového skladu
- Poskytuje rozšírené obchodné spravodajstvo
- Zabezpečuje kvalitu a konzistentnosť údajov
- Šetrí čas a peniaze
- Sleduje historicky inteligentné údaje
- Vytvára vysokú NI
Výhoda dátového skladu
- Dodatočná práca s prácou
- Nepružnosť a homogenizácia údajov
- Vlastnícke záujmy
- Požiadavky na veľké množstvo zdrojov
- Skryté problémy spotrebúvajú čas
Odporúčané články
Toto je sprievodca dizajnom dátových skladov. Tu diskutujeme techniku návrhu dátového skladu, zhromažďovanie požiadaviek, nastavenie prostredia, použitie, výhodu / nevýhodu. Viac informácií nájdete aj v nasledujúcom článku -
- Výhody dátového skladu
- Implementácia dátového skladu
- Modelovanie dátového skladu
- Nástroje dátového skladu
- Top 4 rôzne typy dátových modelov