Kariéra v Hadoope - úvod
Hadoop nie je obyčajným rámcom vo svete veľkých dát. Má široký ekosystém so zastrešením súvisiacich technológií. Z toho istého dôvodu je kariéra v Hadoop sľubná. Ak dobre rozumiete základom spoločnosti Hadoop, bude to základ pre veľkú kariéru v spoločnosti Hadoop.
Vzdelanie k kariére v Hadoope
Rovnako ako mnoho vznikajúcich dátových technológií, aj Hadoop ako taký nevyžaduje žiadne konkrétne vzdelanie. Približne polovica vývojárov spoločnosti Hadoop pochádza z prostredia iných ako počítačové vedy, ako je štatistika alebo fyzika. Je teda zrejmé, že pozadie nie je prekážkou vstupu na svet Hadoop za predpokladu, že ste pripravení naučiť sa základy. Existujú dobré online kurzy, ktoré poskytuje Hadoop - ten z eduCBA je najlepším príkladom - master-apache-Hadoop
Ďalej, ak sa chcete posunúť hlbšie do konkrétnej oblasti správy klastrov Hadoop alebo modelovania údajov v materiáloch Úľa o každej konkrétnej téme, ktorá je k dispozícii ako online kurzy a učebnice. Klastre Hadoop sa väčšinou budú zakladať v dodávateľovi cloudov, ako sú AWS alebo Azure. Oboznámte sa teda s akýmkoľvek dodávateľom cloudu podľa vášho výberu, ktorý vám veľmi pomôže. Hadoop služba od AWS sa nazýva EMR.
Populárna špecializácia zahŕňa:
- Spark - škálovateľný motor na spracovanie údajov v pamäti
- HBase - Žiadna SQL databáza na vrchole HDFS
- Beam - Streamovanie údajov prvého prístupu
- Pig - skriptovanie transformácie dát (ETL)
- Úľ - Skladovanie údajov
- Mahout, Spark MLlib - Škálovateľné strojové učenie na Hadoop
- Apache Drill - SQL engine na Hadoop
- Flume, Sqoop - služby prijímania údajov
- Solr & Lucene - Vyhľadávanie a indexovanie
Kariérna cesta v Hadoope
Podľa výsledkov prieskumu Stack Overflow Survey 2017 je spoločnosť Hadoop lídrom v najpopulárnejšej a najobľúbenejšej platforme v priestore veľkých dát (Survey Link). Je to možné iba preto, že ľudia z rôznych perspektív IT našli spoločnosť Hadoop potenciálnu kariéru a chcú prejsť.
Nech už je vaša súčasná úloha v akejkoľvek oblasti IT akákoľvek, v svete Hadoop bude ľahko prispôsobiteľný prechod na kariéru. Niektoré populárne príklady -
- Softvérový vývojár (programátor) -> Hadoop Data Developer, ktorý sa zaoberá rôznymi Hadoop abstraction SDK a odvodzuje hodnotu z údajov.
- Data Analyst -> Takže ste zdatní v oblasti SQL. Veľké príležitosti v Hadoope pracovať na strojoch SQL ako Hive alebo Impala
- Business Analyst -> Organizácie, ktoré sa snažia dosiahnuť vyššiu ziskovosť pomocou rozsiahlych zozbieraných údajov, a úloha obchodného analytika je v tomto kľúčová.
- ETL Developer -> Ak pracujete ako tradičný ETL vývojár, môžete ľahko prejsť na Hadoop ETL pomocou nástrojov ako Spark.
- Testeri -> Vo svete Hadoop existuje obrovský dopyt po testeroch. Pochopením základov Hadoopu a profilovania údajov sa k tejto úlohe môžu prepnúť všetci testeri.
- Profesie BI / DW -> Môže sa ľahko prepnúť na Hadoop Data architektúru na modelovanie údajov.
- Vedúci odborníci v oblasti IT -> Vďaka dôkladnému porozumeniu oblasti a existujúcich problémov vo svete údajov sa môže vyšší odborník stať konzultantmi získaním poznatkov o tom, ako sa spoločnosť Hadoop snaží tieto problémy riešiť.
- Existujú všeobecné úlohy, ako napríklad Data Engineers alebo Big Data Engineering, ktorí sú zodpovední za implementáciu riešenia väčšinou u dodávateľov cloudu. Získaním poznatkov o dátových komponentoch cloudu to bude sľubná úloha.
Pracovné pozície
Ekosystém Hadoop ponúka celý rad kariérnych možností
- MapReduce Developer - Toto je v podstate úloha vývojárov Java, ktorí tiež chápu, ako systémy Hadoop interne fungujú. Existuje abstrakcia ako Hive alebo Pig, stále dostupné úlohy MapReduce sú potrebné pre vysoko výkonné systémy. Vývojári MapReduce sú tým, ktorí rozumejú systému dovnútra a von a platia skutočne vysoké.
- Administrátori Hadoop - Sú to ľudia zodpovední za udržiavanie zdravia a výkonnosti klastra Hadoop. To môže zahŕňať typické úlohy administrátora, ako napríklad pravidelné kontroly stavu systému, ale väčšina úloh potrebných na pochopenie architektúry systému Hadoop.
- Devops - Nasadenie nových systémových komponentov a ďalších zmien súvisiacich s vývojom v klastri Hadoop. Zodpovednosť za túto úlohu sa veľmi líši a závisí od kultúry organizácie.
- Data Developer - Spracovanie dát nad Hadoopom. Táto jedna z najpopulárnejších úloh v ekosystéme Hadoop. Na tieto úlohy sa najlepšie hodia ľudia z prostredia SQL alebo analytického prostredia. Väčšinou pracujú na abstrakcii Hadoopu na vysokej úrovni, ako je Hive alebo Pig.
- Správca bezpečnosti údajov - údaje sú najcennejším majetkom a ich zabezpečenie je najdôležitejšie. Správcovia bezpečnosti zabezpečujú štandardné zásady a osvedčené postupy na ochranu údajov s obmedzením na pochopenie systému
- Vizualizátor údajov - Spracúvajte vizualizačné nástroje novej generácie, ktoré umožňujú dynamické krájanie a agregovanie údajov pomocou ukladania údajov do pamäte cache
- ETL Developer - Transformujte údaje na zlepšenie kvality údajov alebo podľa obchodnej logiky pomocou nástrojov ekosystému Hadoop. Proces ETL môže byť streamovaný alebo dávkový.
- System Architect - Navrhnite vysoko výkonné systémy s ohľadom na dostupnosť a trvanlivosť údajov nákladovo efektívnym spôsobom. Závisí výrazne od poskytovateľa hardvéru.
- Dátový architekt - Okrem tradičného logického / fyzického dizajnu údajov bude zodpovednosť za množstvo vecí, ako napríklad kódovanie stĺpcov, denormalizácia, rozdelenie atď.
Odporúčané kurzy
- Online školenie XML a Java
- Node.JS Kurzy
- Tréningový kurz spoločnosti Silverlight
- Program Ember.JS
plat
Priemerný plat vývojára softvéru v USA je 90 956 dolárov ročne, zatiaľ čo priemerný plat vývojára spoločnosti Hadoop je o niečo vyšší - 118 234 dolárov ročne (podľa Indeed.com - skutočne.com)
Platy vývojára spoločnosti Hadoop v popredných spoločnostiach v USA (Ref: really.com)
| jablko | 147 573 dolárov ročne |
| Wipro | 110 553 dolárov ročne |
| HERO.jobs | 158 715 dolárov ročne |
| MBCAA | 133 422 dolárov ročne |
| Ventures Unlimited Inc | 130 000 dolárov ročne |
| Nityo Infotech Services Pvt. Ltd. | 128 633 dolárov ročne |
| SEVERNÁ HVIEZDA | 126 370 dolárov ročne |
| PRI technológia | 121 396 dolárov ročne |
| NITYO INFOTECH | 116 909 dolárov ročne |
| HortonWorks, Inc. | 110 710 dolárov ročne |
Kariérny výhľad
Ekosystém Hadoop sa výrazne odlišuje, aby uspokojil zmeny v obchodných potrebách. Keďže generované údaje exponenciálne rastú a čoraz viac organizácií sa stáva riadeným údajmi, relevantnosť systému Hadoop sa iba zvýši.
Niektoré významné trendy:
- Posun od dávkového spracovania k prvému prístupu k spracovaniu údajov pomocou Spark and Beam
- Viac modelu strojového učenia v reálnom čase aplikovaného na údaje v reálnom čase pomocou programu Spark ML
- Oddelené nástroje SQL od ukladania údajov, ako je Presto na vrchole S3, na analýzu ad-hoc na vrchole dátového jazera.
- Stĺpcové databázy MPP ako AWS Redshift pre rýchly prístup k údajom
Keďže základným aspektom spracovania veľkých údajov sú distribuované a horizontálne škálovateľné systémy odolné voči poruchám, ktoré spoločnosť Hadoop dobre implementuje, bude spoločnosť Hadoop pokračovať ako popredný ekosystém na spracovanie údajov.
Odporúčaný článok
Toto bol sprievodca Kariéra v Hadoope. Tu sme diskutovali o úvode, vzdelávaní, kariérnom postupe v Hadoope, o mzdách a kariérnom výhľade v Hadoope. Viac informácií nájdete aj v nasledujúcom článku -
- Azure Paas vs Iaas a ich užitočné výhody
- Zistite rozdiely medzi Java verzus Node JS
- Najlepšie odborné rady o kariére v mainframe
- Kariéra v SQL
- Užitočné kariéry ako softvérový inžinier
- Administrátor Hadoopu Zručnosti a kariérna cesta