Úvod k otázkam a odpovediam na ETL
ETL znamená Extract-Transform-Load. Je to systémový základ dátového skladu, kde sa údaje extrahujú z rôznych zdrojov a potom sa údaje transformujú, ak sa údaje vynucujú alebo spracúvajú tak, aby sa dosiahla kvalita, konzistentnosť údajov vo vhodnom formáte prezentácie a nakoniec údaje sú načítané do dátového skladu v prezentačnom formáte, aby mohli koncovému používateľovi pomôcť získať informácie ľahko a rozhodnúť sa.
Nižšie je uvedených najvyšších 2019 otázok týkajúcich sa rozhovorov ETL, ktoré sa často kladú počas rozhovoru
Ak hľadáte prácu, ktorá súvisí s ETL, musíte sa pripraviť na 2019 rozhovory s ETL. Aj keď je každý pohovor iný a rozsah zamestnania je tiež odlišný, môžeme vám pomôcť s najlepšími otázkami a odpoveďami na rozhovor s ETL, ktoré vám pomôžu skákať a dosiahnuť úspech v pohovore.
1. časť - Otázky k rozhovoru s ETL (základné)
Táto prvá časť obsahuje základné otázky a odpovede týkajúce sa rozhovorov s ETL
1. Rozviňte systém ETL v dátovom sklade? vysvetliť
odpoveď:
Systém Extract-Transform-Load (ETL) je základom dátového skladu. Správne navrhnutý systém ETL extrahuje údaje zo zdrojových systémov, presadzuje štandardy kvality a konzistentnosti údajov, potvrdzuje údaje, aby sa mohli spoločne používať samostatné zdroje, a nakoniec dodáva údaje vo formáte pripravenom na prezentáciu, aby vývojári aplikácií mohli vytvárať aplikácie a koncových používateľov. môže robiť rozhodnutia.
2. Význam systému ETL v dátovom sklade?
Odpoveď :
Odstraňuje chyby a opravuje chýbajúce údaje. Poskytuje zdokumentované miery dôvery v údaje. Zachytáva tok nadnárodných údajov na účely úschovy. Nastavuje údaje z viacerých zdrojov, ktoré sa majú použiť spolu. Štruktúruje údaje tak, aby boli použiteľné nástrojmi koncového používateľa.
3. Aký je každodenný proces v systéme ETL?
Odpoveď :
Zostavte vývojovú / testovaciu / výrobnú súpravu procesov ETL. Pochopte kompromisy rôznych dátových štruktúr v back-room, vrátane plochých súborov, normalizovaných schém, schém XML a schém hviezdneho spojovania (rozmerových). Analyzujte a extrahujte zdrojové údaje. Zostavte komplexný subsystém na čistenie údajov. Štruktúrujte údaje do rozmerových schém pre čo najefektívnejšie doručenie koncovým používateľom, nástroje business intelligence, nástroje na získavanie údajov, kocky OLAP a analytické aplikácie. Poskytujte údaje efektívne do vysoko centralizovaných a hlboko distribuovaných skladov údajov pomocou rovnakých techník. Vylaďte celkový proces ETL pre optimálny výkon.
Prejdime k ďalším otázkam týkajúcim sa rozhovorov s ETL.
4. Formáty údajov v systéme ETL?
Odpoveď :
V ETL existuje rôzny formát údajov, niektoré z nich sú ploché súbory, súbory údajov XML, nezávislé pracovné tabuľky DBMS, schémy normalizovaných entít / vzťahov (E / R) a rozmerové dátové modely.
5. Profilovanie údajov v systéme ETL?
Odpoveď :
Profilovanie údajov je systematické skúmanie kvality, rozsahu a kontextu zdroja údajov, ktoré umožňuje vytvorenie systému ETL. V jednom extrémnom prípade vyžaduje veľmi čistý zdroj údajov, ktorý bol dobre udržiavaný pred jeho príchodom do skladu údajov, minimálnu transformáciu a zásah človeka, aby bolo možné načítať priamo do konečných rozmerových tabuliek a faktických tabuliek.
6. Čo je ETL validátor?
Odpoveď :
ETL Validator je nástroj na testovanie údajov, ktorý výrazne zjednodušuje testovanie projektov integrácie dát, skladovania údajov a migrácie dát. Využíva našu patentovanú architektúru ELV na extrahovanie, načítanie a overenie údajov zo zdrojov údajov, ako sú databázy, ploché súbory, systémy XML, Hadoop a BI.
2. časť - Rozhovory s ETL (rozšírené)
Pozrime sa teraz na pokročilé otázky týkajúce sa rozhovorov s ETL.
7. Aké sú činnosti v systéme ETL?
Odpoveď :
Nasledujúce tri operácie: Extrahuje údaje z vášho nadnárodného systému, ktorým môže byť Oracle, Microsoft alebo akákoľvek iná relačná databáza. Transformuje údaje pomocou operácií čistenia údajov. Zaťaženie je proces zápisu údajov do cieľovej databázy.
8. Pomenujte niektoré z nástrojov ETL, ktoré sa väčšinou používajú na trhu?
odpoveď:
Na trhu sa používajú rôzne nástroje ETL, ale niektoré z preferovaných nástrojov ETL
• Oracle Warehouse Builder (OWB)
• SAP Data Services.
• IBM Infosphere Information Server.
• Správa dát SAS.
• Informačné centrum Power Center.
• Elixir Repertoár pre Data ETL.
• Migrátor údajov (IBI)
• SQL Server Integration Services (SSIS)
9. Aké sú úlohy a povinnosti tímu ETL?
odpoveď:
Úlohou tímu ETL na najvyššej úrovni je vybudovať zadnú miestnosť dátového skladu.
• Poskytovať údaje najúčinnejšie nástrojom koncového používateľa
• Pridanie hodnoty k údajom v krokoch čistenia a zhody
• Chráňte a zdokumentujte rodokmeň údajov
• Extrahovanie údajov z pôvodných zdrojov
• Údaje o zabezpečení a čistení
• Zhoda štítkov a opatrení v údajoch, ktoré sa majú dosiahnuť
• konzistentnosť medzi pôvodnými zdrojmi
• poskytovanie údajov vo fyzickom formáte, ktorý je možné použiť pomocou dopytovacích nástrojov,
• Spisovatelia správ a dashboardy.
Prejdime k ďalším otázkam týkajúcim sa rozhovorov s ETL.
10. Aká je úloha analýzy vplyvu v systéme ETL?
odpoveď:
Analýza dopadu skúma metadáta spojené s objektom (v tomto prípade tabuľkou alebo stĺpcom) a určuje, čo je ovplyvnené zmenou jeho štruktúry alebo obsahu. Zmena objektov na ukladanie údajov môže narušiť procesy, ktoré sú rozhodujúce pre správne načítanie dátového skladu. Povolenie ad-hoc zmien v objektoch na ukladanie údajov poškodzuje úspech vášho projektu. Po vytvorení tabuľky v pracovnej oblasti musíte pred vykonaním akýchkoľvek zmien vykonať analýzu dopadu. Mnoho predajcov nástrojov ETL poskytuje funkčnosť analýzy dopadu, ale táto funkčnosť sa často prehliada počas koncepcie koncepcie produktu ETL, pretože ide o funkciu back-room a
Nie je to dôležité, kým nebude dátový sklad funkčný a nezačne sa vyvíjať.
11. Ako spracúvate plochý súbor s pevnou dĺžkou?
odpoveď:
Rozloženie súboru s pevnou dĺžkou by malo obsahovať názov súboru, kde sa pole začína; jeho dĺžka; a jeho typ údajov (zvyčajne text alebo číslo). Niekedy sa dodáva koncová poloha. Ak tomu tak nie je, musíte vypočítať koncovú polohu každého poľa na základe jeho počiatočnej polohy a dĺžky, ak to vyžaduje váš nástroj ETL. Vo väčšine nástrojov ETL budete pravdepodobne musieť manuálne zadať rozloženie súboru plochého súboru raz. Po zadaní rozloženia si nástroj zapamätá rozloženie a očakáva rovnaké rozloženie pri každej interakcii so skutočným plochým súborom. Ak sa rozloženie súboru zmení alebo sa údaje posunú z pridelených pozícií, musí byť proces ETL naprogramovaný tak, aby zlyhal. Pri spracovaní plochých súborov s pevnou dĺžkou sa pokúste overiť, či sú polohy údajov v súbore presné. Rýchla kontrola na overenie pozícií spočíva v testovaní každého dátumu (alebo času) poľa, či je platný dátum. Ak sa pozície posunú, dátumové pole s najväčšou pravdepodobnosťou obsahuje alfa znaky alebo nelogické čísla. Rovnakým spôsobom je možné testovať aj ďalšie polia s veľmi špecifickými doménami. XML ponúka konkrétnejšie overovacie schopnosti. Ak je problémom overenie alebo konzistentnosť údajov, skúste presvedčiť poskytovateľa údajov, aby údaje dodal vo formáte XML.
12.Prečo ETL v reálnom čase v dátovom sklade?
odpoveď:
Dátový sklad potreboval poskytnúť neochvejnú množinu údajov pre podnikateľov s rozhodovacou právomocou a poskytol spoľahlivé informačné poschodie, na ktorom sa dá stáť. Pre najaktuálnejšie reportovanie proti blikajúcej databáze boli firemní používatelia nasmerovaní na produkčné aplikácie, ktoré podnikajú. Používatelia preto museli ísť do dátového skladu, aby získali historický obraz o tom, čo sa stalo v podnikaní od včerajška, a museli sa pozrieť na mnoho systémov OLTP, aby si predstavili, čo sa dnes deje. Firemní používatelia nikdy toto rozdelenie úplne neakceptovali. Dátové sklady samozrejme potrebujú absolútne neustále toky informácií o zákazníkoch z prevádzky, ale stále viac operačných systémov sa spolieha na obohatenie zákazníckych informácií o dátové sklady. Preto sa dá predvídať, že organizácie začali skúmať alternatívy architektúry, ktoré môžu podporovať všeobecnejšie integračné scenáre presúvania prevádzkových údajov medzi aplikáciami a súčasne do a zo skladu s neustále sa zvyšujúcou naliehavosťou.
Odporúčané články
Toto bol sprievodca zoznamom otázok a odpovedí na otázky týkajúce sa rozhovorov ETL, aby uchádzač mohol ľahko vykonať tvrdé zásahy do týchto otázok. Ďalšie informácie nájdete aj v nasledujúcich článkoch -
- Azure Paas vs Iaas - Funkcie
- 9 Úžasné MapReduce Interview Otázky a odpovede
- Top 11 najužitočnejších otázok a odpovedí na rozhovor RDBMS
- 10 najúžasnejších otázok na rozhovor s PHP pre skúsených
- Poznajte 5 najlepších užitočných otázok a odpovedí na rozhovor s databázou DBA