Úvod do dátového potrubia AWS
Údaje rastú exponenciálne zo dňa na deň a ich spracovanie v porovnaní s minulosťou je ťažké. Potrebujeme nástroje a služby na efektívnu správu našich údajov a za lacnejšie náklady. Tam sa premieta aj dátový tok AWS. Nejde iba o ukladanie údajov, ale musíte analyzovať, spracovať, transformovať údaje do požadovaného formulára na rovnakom mieste, to všetko je možné dosiahnuť pomocou AWS Data Pipeline.
Potreba dátového potrubia
Pokúsme sa pochopiť potrebu dátového potrubia pomocou tohto príkladu:
Príklad č. 1
Máme webovú stránku, ktorá zobrazuje obrázky a gif na základe vyhľadávaní alebo filtrov používateľov. Naším primárnym zameraním je poskytovanie obsahu. Na dosiahnutie týchto cieľov sú tieto ciele:
- Zlepšenie poskytovania obsahu: Poskytovanie toho, čo používatelia požadujú, efektívne a dostatočne rýchlo.
- Efektívna správa aplikácie: Ukladanie používateľských údajov, ako aj denníkov webových stránok na neskoršie analytické účely.
- Zlepšiť podnikanie: Pomocou uložených údajov a analýz sa rozhodnete podnikať lepšie a lacnejšie.
Príklad č. 2
Existujú určité prekážky, o ktoré sa treba starať pri dosahovaní cieľov:
- Obrovské množstvo údajov v rôznych formátoch a na rôznych miestach robí spracovanie, ukladanie a migráciu údajov komplexnou úlohou.
Rôzne komponenty na ukladanie údajov pre rôzne typy údajov:
- Možné údaje v reálnom čase pre registrovaných používateľov: Dynamo DB .
- Denníky webového servera pre potenciálnych používateľov: Amazon S3 .
- Demografické údaje a prihlasovacie údaje: Amazon RDS.
- Údaje senzora a dátový súbor tretej strany: Amazon S3.
riešenie
- Uskutočniteľné riešenie: Vidíme, že sa musíme zaoberať rôznymi typmi nástrojov na prevod údajov z neštruktúrovaných na štruktúrované na analýzu. Tu musíme použiť rôzne nástroje na ukladanie údajov a znova na prevod, analýzu a ukladanie spracovaných údajov. Nie je to nákladovo efektívne riešenie.
- Optimálne riešenie: Použite dátový kanál, ktorý spracováva, vizualizuje a migruje. Dátový kanál môže byť užitočný pri migrácii údajov z rôznych miest, ako aj vo vašom mene analyzovať údaje a spracovať na rovnakom mieste.
Čo je dátový kanál AWS?
AWS Data Pipeline je v podstate webová služba ponúkaná spoločnosťou Amazon, ktorá vám pomáha transformovať, spracovať a analyzovať vaše dáta škálovateľným a spoľahlivým spôsobom, ako aj ukladať spracované údaje do S3, DynamoDb alebo do miestnej databázy.
- S AWS Data Pipeline môžete ľahko pristupovať k údajom z rôznych zdrojov.
- Transformujte a spracujte tieto údaje v mierke.
- Efektívne preneste výsledky do iných služieb, ako je S3, tabuľka DynamoDb alebo na ukladanie údajov v priestoroch.
Príklad základného použitia dátového potrubia
- Mohli by sme mať webovú stránku nasadenú v EC2, ktorá generuje denníky každý deň.
- Jednoduchá denná úloha by sa dala skopírovať z protokolových súborov z E2 a dosiahnuť ich do vedra S3.
- Týždennou úlohou by mohlo byť spracovanie údajov a spustenie analýzy údajov cez Amazon EMR na generovanie týždenných správ na základe všetkých zhromaždených údajov.
Spustenie analýzy údajov pomocou dátového potrubia AWS
- Zhromažďovanie údajov z rôznych zdrojov údajov, ako sú - S3, Dynamodb, v prevádzke, údaje senzorov atď.
- Vykonávanie transformácie, spracovania a analýzy na AWS EMR na generovanie týždenných správ.
- Týždenný výkaz uložený v Redshift, S3 alebo v databáze premise.
Výhody dátového potrubia AWS
Nižšie uvedené body vysvetľujú výhody AWS Data Pipeline:
- Drag and Drop konzola, ktorá je ľahko zrozumiteľná a použiteľná.
- Distribuovaná a spoľahlivá infraštruktúra: Dátové plynovody fungujú na škálovateľných službách a sú spoľahlivé, ak akákoľvek chyba alebo úloha zlyhá, je možné ju nastaviť znova.
- Podporuje plánovanie a sledovanie chýb: Môžete naplánovať svoje úlohy a sledovať ich zlyhanie a úspech.
- Distribuované: Môže bežať paralelne na viacerých strojoch alebo lineárne.
- Plná kontrola nad výpočtovými zdrojmi, ako sú EC2, klastre EMR.
Komponenty dátového potrubia AWS
Ďalej sú komponenty dátového potrubia AWS:
1. Definícia potrubia
Preveďte svoju obchodnú logiku do dátového potrubia AWS.
- Uzly údajov : Obsahuje názov, umiestnenie, formát zdroja údajov, ktorým by mohol byť (S3, dynamodb, na mieste).
- Činnosti : Presúvajte, transformujte alebo vykonávajte dotazy týkajúce sa vašich údajov.
- Plán : Naplánujte si denné alebo týždenné aktivity.
- Predpoklad: Podmienky ako začať s kontrolou dostupnosti údajov plánovača pri zdroji.
- Zdroje : Vypočítajte zdroje EC2, EMR.
- Akcie : Aktualizácia o dátovom potrubí, oznámeniach o odoslaní, poplachu pri spustení.
2. Potrubia
Tu môžete naplánovať a spustiť úlohy na vykonávanie definovaných aktivít.
- Oponenti potrubia C : Komponenty potrubia sú rovnaké ako komponenty definície potrubia.
- Inštancie: Počas vykonávania úloh AWS kompiluje všetky komponenty, aby vytvorila určité akcie, ktoré je možné vykonať. Takéto prípady obsahujú všetky informácie o konkrétnych úlohách.
- Pokusy: Už sme diskutovali o spoľahlivosti Data Pipeline so svojimi mechanizmami opakovania. Tu nastavíte, koľkokrát chcete úlohu opakovať v prípade, že zlyhá.
3. Spúšťač úloh
Požiada alebo ankety o úlohy z AWS Data Pipeline a potom tieto úlohy vykoná.
Ceny dátového potrubia AWS
Nižšie uvedené body vysvetľujú cenu plynovodu AWS Data:
1. Úroveň zadarmo
S AWS Data Pipeline môžete začať zadarmo ako súčasť úrovne bezplatného používania AWS. Noví zákazníci, ktorí sa zaregistrujú, získajú každý mesiac nejaké bezplatné výhody na jeden rok:
- 3 Predpoklady nízkej frekvencie prevádzky na AWS bez akýchkoľvek poplatkov.
- 5 Činnosti nízkofrekvenčného chodu na AWS bez akýchkoľvek poplatkov.
2. Nízka frekvencia
Nízka frekvencia sa má prevádzkovať raz za deň alebo menej. Dátový kanál sa riadi rovnakou fakturačnou stratégiou ako ostatné webové služby AWS, tj fakturuje sa za vaše použitie. Účtuje sa, ako často vaše úlohy, činnosti a predpoklady prebiehajú každý deň a kde sú spustené (AWS alebo v priestoroch). Vysokofrekvenčné činnosti sú naplánované na viac ako raz denne.
Príklad: Môžeme naplánovať aktivitu tak, aby sa spúšťala každú hodinu a spracovávala denníky webových stránok, alebo by to mohlo byť každých 12 hodín. Keďže nízkofrekvenčné činnosti sú tie, ktoré sa vykonávajú jedenkrát denne alebo menej, ak nie sú splnené predpoklady. Neaktívne potrubia majú stav Neaktívne, ČAKANÉ A DOKONČENÉ.
3. Ceny dátového plynovodu AWS zobrazené v regióne múdre
Región č. 1: Východ USA (N.Virginia), Západ USA (Oregon), Ázie a Tichomoria (Sydney), EÚ (Írsko)
| Vysoká frekvencia | Nízka frekvencia | |
| Činnosti alebo predpoklady prechádzajúce cez AWS | 1, 00 dolárov mesačne | 0, 06 dolárov mesačne |
| Činnosti alebo predpoklady prebiehajúce v priestoroch | 2, 50 dolárov mesačne | 1, 50 USD mesačne |
| Neaktívne potrubia: 1, 00 $ mesačne |
Región č. 2: Ázia a Tichomorie (Tokio)
| Vysoká frekvencia | Nízka frekvencia | |
| Činnosti alebo predpoklady prechádzajúce cez AWS | 0, 9524 dolárov mesačne | 0, 5715 dolárov mesačne |
| Činnosti alebo predpoklady prebiehajúce v priestoroch | 2, 381 dolárov mesačne | 1 428 $ mesačne |
| Neaktívne potrubia: 0, 9524 $ mesačne |
Potrubie, ktoré by denná úloha, tj nízkofrekvenčná aktivita na AWS na presun údajov z tabuľky DynamoDB do Amazonu S3, stálo 0, 60 USD mesačne. Ak pridáme EC2 a vytvoríme správu založenú na údajoch Amazon S3, celkové náklady na potrubie by boli 1, 20 dolárov mesačne. Keby sme túto činnosť vykonávali každých 6 hodín, stálo by to 2, 00 dolárov mesačne, pretože by to bola vysokofrekvenčná aktivita.
záver
AWS Data Pipeline je veľmi šikovné riešenie pre správu exponenciálne rastúcich údajov za lacnejšie náklady. Je veľmi spoľahlivý a škálovateľný podľa vášho použitia. AWS Data Pipeline je veľmi dobrá voľba na dosiahnutie všetkých našich obchodných cieľov pre akékoľvek obchodné potreby, kde sa zaoberá veľkým množstvom údajov.
Odporúčané články
Toto je príručka k dátovému potrubiu AWS. Tu diskutujeme potreby dátového potrubia, čo je dátový plynovod AWS, jeho komponent a podrobnosti o cenách. Viac informácií nájdete aj v ďalších súvisiacich článkoch -
- AWS EBS
- AWS databázy
- Čo je AWS EC2?
- Výhody vizualizácie dát
- Top 7 konkurentov AWS s funkciami
- Naučte sa zoznam funkcií webových služieb Amazon