Techniky veľkých dát: Sútok technológie a obchodnej analýzy
Sútok technológie a obchodnej analýzy -
Muži dávno viedli kočovný život a potom sa postupne obracali na poľnohospodárstvo. Vynález kolesového, hasiaceho a parného motora sa často považuje za bod obratu vo vývoji ľudstva smerom k mechanizácii a zvýšenému životnému pohodliu.
Podobne aj legendárny Newtonov zákon pohybu a gravitácie, Einsteinova teória relativity, ktorá v súčasnosti oslavuje 100. ročník alebo zákon termodynamiky, všetky revolucionizovali vedu a ovplyvnili aplikovanú vedu. Vynález počítača, príchod osobného počítača a grafické používateľské rozhranie (GUI) sú medzníkmi vo vývoji v digitálnej ére. Boli to nuly binárnych čísel a tie, ktoré sú jadrom jazykov na úrovni zhromaždenia.
Binárne až veľké dátové techniky
Na úrovni hardvéru nuly a tie napájajú obvody v počítači, na podnikovej úrovni to sú techniky veľkých dát, ktoré menia morské prostredie v tom, ako spoločnosti navrhujú marketingové stratégie, aby zostali konkurencieschopné. Môže pozostávať z čohokoľvek z jednociferných a viacmiestnych číslic, ktoré obsahujú všetky dôležité informácie o trhu, fungovaní stroja, ľudského tela, transakciách elektronického obchodu alebo len o akejkoľvek každodennej činnosti, ktorá môže alebo nemusí mať nič súvisí s nákupom alebo predajom.
Je bežné, že podniky a účtovníci hovoria o aktívach a pasívach. Majetok obvykle označuje stroje, technológie, know-how, ľudské zdroje, infraštruktúru a tiež finančné aktíva.
Teraz dochádza k posunu paradigmy, spolu s týmito hmotnými aktívami, niektoré kúsky jedno- a viacmiestnych číslic alebo údajov sa stali tým najcennejším aktívom, keď sa organizácie a trhy zväčšujú. Z hľadiska marketingu a stratégie veľkých dát sa údaje stali najdôležitejšou výhodou.
Podniky rastú čo do veľkosti a rozsahu. Už nie je malá krásna ani životaschopná. Operácie s viacerými krajinami, veľké nákupné strediská a podniky elektronického obchodovania s veľkým objemom majú na celom svete nový trend. Úspech v tomto veľkom obchodnom dáta a analýza dát sa stali kritickými. Podniky sú po spoločnosti Big Data Hadoop, aby ju využili, aby získali informácie o trhu a pochopili požiadavky zákazníkov.
Sútok technológie a analýzy údajov
Zdroj obrázka: pixabay.com
Techniky veľkých údajov, ktoré organizácie majú, budú mať zmysel iba vtedy, ak bude existovať podporná technológia na ťažbu údajov, ich spracovanie a organizácia pre podniky, aby mohli využívať tento dôležitý prínos. Renomovaný spisovateľ a analytik Bernard Marr povedal, že spoločnosti bez ohľadu na ich veľkosť, či už ide o spoločnosť Fortune 500 alebo malú mamu a pop-store, by vyžadovali použitie softvéru Hadoop Big Data, ktorý je svedkom zmeny, ktorú prináša podnikom.
Techniky veľkých údajov sú kolekciou veľkých množín údajov a sú v obrovskom množstve, ktoré sú na analýzu a vytváranie zmysluplných informácií potrebné sofistikované programy. Mohlo by to byť nákupné zvyklosti, frekvencia chodenia do kina, prihlasovacie webové stránky s frekvenciou prihlásenia, nákup online, objednávanie potravín, frekvencia zmeny mobilných telefónov atď.
Rôzne nástroje, rámce a techniky sa používajú na analýzu veľkých súborov údajov a priemysel ich stal veľmi vyhľadávaným. Podľa odborníkov nie sú dôležité údaje, ale to, čo spoločnosť s týmito údajmi robí.
Spomedzi rôznych technológií a platforiem sa Hadoop stal najobľúbenejším, aj keď môže mať svoje nevýhody. Je to vývojová platforma s otvoreným zdrojovým kódom, ktorá je napísaná na C, C ++, Java a pomáha organizáciám analyzovať obrovské množstvo údajov v reálnom čase.
Techniky veľkých dát v reálnom čase
Zhromažďovanie, ukladanie, premiestňovanie a analýza nie sú statickou aktivitou, ale aj dynamickou činnosťou zahŕňajúcou prostredia v reálnom čase. Dáta sa nepretržite zhromažďujú pre lietadlá, automobilové motory, monitory pripojené k pacientom v nemocniciach, online transakcie kreditnými alebo debetnými kartami, ktoré si vyžadujú sofistikované algoritmy, programy, architektúru veľkých dát a robustné možnosti spracovania v pamäti.
John Schroeder, generálny riaditeľ spoločnosti MapR, povedal, že majú aplikácie Big Data, ktoré chránia milióny držiteľov kariet American Express pred podvodnými transakciami a v oblasti zdravotnej starostlivosti sa usilujú o zlepšenie postupov liečby pacientov s rakovinou.
Globálne IT spoločnosti ako Microsoft, Oracle, SAP, IBM sú všetky na cloudovej platforme a tiež umožňujú riešenia veľkých techník údajov.
Techniky veľkých dát a internet vecí
Rýchle zmeny v technológii webu a vstavanej technológii umožnili vzájomné prepojenie veľkého množstva zariadení, ktoré sú schopné odosielať údaje v reálnom čase. Vznikol internet skôr z „vecí“ ako z ľudí a počítačov.
Každé zariadenie, ktoré nosíme alebo používame, je schopné ukončiť údaje, ktoré by mali okrem iného rozsiahle aplikácie v oblasti marketingu veľkých dát, dizajnu a zdravotnej starostlivosti.
Ťažba dát
Teraz sú nasadené výkonné superpočítače na ťažbu údajov z relačných databáz a na pomoc štatistikom a analytikom pri vytváraní modelov. Niekoľko inovátorov prišlo s nástrojmi na vývoj modelov na prediktívnu analýzu veľkých údajov, aby podniky mohli lepšie rozhodovať. Poskytujú tiež jednoduché grafické užívateľské rozhranie (GUI) a sú veľmi užívateľsky prívetivé.
Kariéra v technikách veľkých dát
Revolúcia v technike veľkých údajov prirodzene priniesla úplne nové plemeno odborníkov, ktorí sú spojení so špecifickými oblasťami tejto analýzy a technológie veľkých dát. Medzi technologické zručnosti, ktoré sa vyžadujú, patria Apache Hadoop, Apache Spark, NoSQL, strojové učenie a získavanie údajov, štatistická a kvantitatívna analýza, SQL, vizualizácia údajov, vedci údajov, všeobecné jazykové znalosti programovania. Podľa analytikov sa príležitosti v nasledujúcom desaťročí zvýšia vďaka rýchlemu vývoju v tejto oblasti.
V roku 2015 skutočne existuje obrovský dopyt po odborných znalostiach týkajúcich sa veľkých dátových techník, keď spoločnosť IBM v posledných dvanástich mesiacoch v júni uverejnila 2 307 pozícií, uviedol časopis Forbes v polovici roka. Inzerovaný plat pre technických odborníkov so školením veľkých dát je 104 850 USD. Najvyhľadávanejšími zručnosťami boli odborné znalosti VMWare, vývoj aplikácií, technológia open source, sklady údajov a programovacie zručnosti v Pythone.
V rámci odvetvia sú špičkovými poskytovateľmi techník a služieb veľkých údajov profesionálne, vedecké a technické služby, ktoré zodpovedajú za 25% dopytu. Medzi ďalšie vedúce kategórie patria informačné technológie 17%, výroba 15%, financie a poisťovníctvo 9% a maloobchod 8%.
Výhody analýzy veľkých dát
1) Ukladanie, ťažba a analýza údajov:
Veľké dátové technológie umožnili nasadenie uložených aj real-time dát pre rôzne obchodné a kritické aplikácie
2) Prognóza a prognóza trhu:
V dobe pred veľkými dátovými technikami boli spoločnosti nútené robiť zmysluplnú analýzu údajov v reálnom čase alebo prediktívnu analýzu bez technológie. Vzorové prieskumy a spätná väzba od zákazníkov ponúkli stratégom jediné riešenie, ktoré inovujú s novými ponukami na trhu.
3) Podniky generujú veľké množstvo údajov av predchádzajúcich rokoch, s nedostatočnými nástrojmi na veľké údaje na ich zhromažďovanie a analýzu, podniky s nimi nepoužívali dôležitý majetok.
4) V reálnom čase veľké dátové podnikateľské prostredie, hackerstvo a krádež údajov môžu mať kritický vplyv na fungovanie organizácie, dôveru jej zákazníkov a môžu byť náchylné na ďalšie útoky po línii. Ukázalo sa, že veľké dáta a Hadoop pomáhajú organizáciám zistiť krádež údajov. Metodiky krádeže údajov sa vyvíjajú rýchlejšie ako metodiky proti krádeži alebo preventívne činnosti.
Je technika veľkých údajov jedinou požiadavkou na úspech
Bombastická reklama vytvorená veľkými dátami nevyšla dobre s niektorými kritikmi, ktorí poukazujú na niektoré problémy spojené s jej nasadením v priemysle. Niektorí analytici sa pýtali, či existuje pozitívna návratnosť investícií (RoI) a v prvom rade stojí za to čas a úsilie potrebné na ich implementáciu. Druhým je, pokiaľ ide o veľké množstvo údajov a analýz, ktoré nemusia vysvetliť „prečo“ k takémuto správaniu spotrebiteľov.
Analýzu veľkých údajov je možné účinne využiť v spojení s tradičnými metodikami prieskumu (hrubé údaje), ktoré mapujú demografické vzorce správania v oblasti úspor, investícií, nákupu a výdavkov v regiónoch, čo poskytuje širšie porozumenie trhu. Nástroje veľkých údajov môžu poskytnúť obraz o tom, čo sa stalo a ako, ale „prečo“ sa to deje, možno pochopiť iba širokým porozumením konkrétnych spotrebiteľov alebo regiónu na základe demografického profilu, preferencií životného štýlu, výdavkových návykov, okrem iného podľa skeptikov spoločnosti Big Dátové nástroje.
Hlavné trendy v technológii Big Data
Podľa John Schroeder, generálny riaditeľ a spoluzakladateľ spoločnosti MapR, spoločnosť, ktorá dodáva riešenia pre spoločnosť Big Data, predpovedala vznikajúce trendy na rok 2015 a väčšina z nich sa javila byť pravdou.
Dátové uzly k dátovým jazerám: Zdá sa, že dátové jazerá so škálovateľnou infraštruktúrou sú preferované, pretože sú ekonomicky atraktívne so zníženými nákladmi na jeden terabajt).
Samoobsluha: Samoobslužné nástroje veľkých dát umožnia vývojárom, vedcom údajov a analytikom údajov priamo vykonávať prieskum údajov.
Rýchlosť údajov
Keď sa databáza rozširuje a vyžaduje sa rýchlejšie spracovanie, zdá sa, že staršie systémy spomaľujú proces. Zistilo sa, že staršie databázy a sklady sú príliš pomalé, a preto organizácie skúmajú, aké agilné je ich spracovanie údajov.
Hadoop vo fáze inovácií: Hadoop zostáva vo fáze inovácií a Shroeder verí, že možno dôjde k modelu s väčším odstupňovaním softvéru s otvoreným zdrojovým kódom v kombinácii s hlbokými inováciami a rozvojom komunity.
Bezpečnostná výzva
Veľké ukladanie a spracovanie údajov sa v stále väčšej miere stáva zraniteľným voči bezpečnostným hrozbám v systéme Hadoop s otvoreným zdrojom. Bezpečnostné prvky sú však stále v zhode s týmito hrozbami a najmä v porovnaní s bezpečnejšími systémami plánovania podnikových zdrojov (ERP) a relačnými databázami.
Cloud computing
Rýchly pokrok v oblasti cloud computingu umožňuje malým a stredným podnikom využívať SaaS (softvér ako služba), platformu ako služba (PaaS) a ďalšie platformy poskytované predajcami, ktoré im umožňujú využívať veľké dátové služby za oveľa lacnejšie náklady, pri ktorých nie sú potrebné nákladné licenčné poplatky a inštalácie.
Podľa známeho autora a analytika Bernarda Marra sú sofistikované algoritmy nasadené do cloudového priestoru prostredníctvom služby SaaS, ktorá poskytuje presnejší obraz o tom, kedy, ako a prečo sa produkt predáva. Cituje Charlieho Crockera z AutoDesku a poukazuje na to, že až do príchodu spätnej väzby od zákazníkov spoločnosti Big Data bolo náročné cvičenie, ale so sofistikovanými algoritmami, ktoré sú v súčasnosti v prevádzke, môžu veľké dátové spoločnosti lepšie porozumieť spotrebiteľskému správaniu a vytvárať pre nich produkty.
Budúcnosť veľkých dátových nástrojov je jasná
International Data Corp predpovedá, že trh veľkých dát bude rásť pri ročnom raste 23% do roku 2019, pričom ročné výdavky v roku 2019 dosiahnu 48, 6 miliárd dolárov. IDC verí, že v priebehu nasledujúcich piatich rokov dôjde k podstatnému nárastu troch hlavných čiastkových trhov: infraštruktúry, softvéru a služieb. roky, so správou, objavovaním a analýzou softvérových informácií, a aplikačným softvérom, ktorý vedie poplatok s CAGR 26%.
IDC predpovedá služby, vrátane profesionálnych a podporných služieb pre infraštruktúru a softvér, porastie s CAGR o 22, 7 percenta. Prognóza predpokladá, že infraštruktúra pozostávajúca z výpočtovej, sieťovej, úložnej a inej infraštruktúry podobnej bezpečnosti dátového centra porastie s CAGR 21, 7 percenta a do roku 2019 bude predstavovať zhruba polovicu všetkých výdavkov.
„Schopnosť využívať veľké dáta a analytiku na rozvoj integrovaného pohľadu na zákaznícke činnosti a obchodné operácie poskytne konkurenčnú diferenciáciu spoločnostiam naprieč odvetviami, “ uviedla nedávno Jessica, Goepfert, programová riaditeľka IDC pre globálnu technologickú a priemyselnú výskumnú organizáciu. „Okrem obrovských príležitostí predstavujú veľké údaje aj významné riziká a
Digitálna transformácia (DX) v nasledujúcich rokoch prinesie „všetko, čo je v IT dôležité“. Úspech v tom, čo spoločnosť IDC nazýva ekonomika DX, spočíva v tom, že pomocou technológií, ako sú mobilné, cloudové, veľké nástroje na analýzu údajov, IoT, AI a robotika, „vytvoríte konkurenčnú výhodu prostredníctvom nových ponúk, nových obchodných modelov a nových vzťahov so zákazníkmi, dodávateľmi a distribútormi, “Podľa Franka Gensa, hlavného analytika IDC.
Kľúčové odbery z predpovedí IDC
- Do roku 2020 bude takmer 50% rozpočtu na IT viazaných na iniciatívy DX (digitálna transformácia).
- Do roku 2018 budú riadiaci pracovníci línie podnikania (LOB) ovládať 45% + všetkých výdavkov na IT na celom svete, viac ako 60% v USA
- Do roku 2017 bude viac ako 50% výdavkov na IT vynaložené na nové technológie (mobilné, cloudové, veľké dátové nástroje atď.).
- Niektorí odborníci uviedli, že aj pri rýchlo sa rozvíjajúcich technológiách a platformách je pochybné, či budú všetky dostupné údaje analyzované, ani by sa nevyžadovali. Dôležité je, či sú príslušné údaje identifikované a analyzované v prospech zainteresovaných strán.
Odporúčané články
Tu je niekoľko článkov, ktoré vám pomôžu získať viac podrobností o technikách veľkých údajov, takže stačí prejsť na odkaz.
- 8 Najužitočnejšia príručka k otázkam rozhovoru s veľkými dátami
- Prečo je inovácia najdôležitejším aspektom veľkých dát?
- Top 5 trendov veľkých dát, ktoré spoločnosti budú musieť zvládnuť
- Čo sú zručnosti NOSQL pri budovaní kariéry veľkých dát
- Sprievodca úvodom k ťažbe dát