Rozdiely medzi Kafka vs Spark
Organizácie neustále rastú s obrovskými údajmi. Pokúšajú sa použiť Hadoop na také obrovské dáta namiesto tradičných RDBMS. Zároveň chcú rýchle spracovanie a výstup v reálnom čase. Hadoop je platforma s otvoreným zdrojovým kódom, v ktorej môžeme používať rôzne jazyky pre rôzne typy nástrojov, napríklad Python, Scala. Na spracovanie v Hadoope v reálnom čase môžeme použiť Kafka a Spark. Toto je malý článok, v ktorom sa snažím vysvetliť, ako bude fungovať Kafka vs Spark.
Kafka
Kafka je platforma na spracovanie streamov s otvoreným zdrojovým kódom vyvinutá spoločnosťou Apache. Je sprostredkovateľom medzi zdrojom a cieľom procesu streamovania v reálnom čase, kde môžeme údaje pretrvávať po určité časové obdobie. Kafka je distribuovaný systém správ. Kde môžeme použiť tieto pretrvávajúce údaje pre proces v reálnom čase. Funguje ako služba na jednom alebo viacerých serveroch. Kafka ukladá tok záznamov do kategórií nazývaných témy. Každý záznam toku pozostáva z kľúča, hodnoty a časovej pečiatky.
Spustenie servera Kafka
>bin/Kafka-server-start.sh config/server.properties
Toto sú hlavné komponenty Kafky
Zdroj: Toto sa spustí, keď sa pri zdroji vyskytne nový CDC (Change Data Capture) alebo nový vkladací list. Preto musíme definovať stĺpec kľúčov na identifikáciu zmeny.
Maklér: ktorý je zodpovedný za uchovávanie údajov. Každý maklér nemá žiadny oddiel.
Téma: Rozdeľuje údaje do kategórií. Témy v spoločnosti Kafka sú vždy predplatené viacerými spotrebiteľmi, ktorí sa prihlásia na odber údajov, ktoré sú do nej zapísané.
Vytvorenie témy
> bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic test
A zobraziť zoznam tém
> bin/kafka-topics.sh --list --zookeeper localhost:2181
Oddiel: Témy sa ďalej delia na oddiel na paralelné spracovanie.
Výrobca: Výrobca je zodpovedný za zverejnenie údajov. Údaje posunie na témy podľa vlastného výberu. Výrobca si vyberie záznam, ktorý sa má priradiť ku ktorej časti v rámci témy.
Kafka prikázal vypracovať správu na tému.
> bin/Kafka-console-producer.sh --broker-list localhost:9092 --topic test
Ahoj, dobré ráno.
Toto je skúšobná správa.
Spotrebiteľ: Spotrebitelia budú konzumovať údaje z tém. Spotrebiteľ bude štítkom so svojou skupinou spotrebiteľov. Ak má rovnaká téma viacerých spotrebiteľov z rôznych skupín spotrebiteľov, každá kópia sa zaslala každej skupine spotrebiteľov.
Ak chcete zachovať údaje, môžete sa potopiť z viacerých zdrojov. Kafka prikázal konzumovať správy podľa témy.
> bin/Kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic test --from-beginning
Ahoj, dobré ráno.
Toto je skúšobná správa.
Flume: Môžeme použiť flume Kafka Sink. V ktorom, akonáhle akékoľvek CDC (Change Data Capture) alebo New insert flume spustí záznam a posunie údaje na tému Kafka. Preto musíme nastaviť kanál.
Rovnako ako flume Kafka Sink môžeme mať aj HDFS, zdroj JDBC a drez.
Kafka má lepšiu priepustnosť a má funkcie ako vstavané rozdelenie na oddiely, replikáciu a odolnosť voči chybám, čo z neho robí najlepšie riešenie pre aplikácie na spracovanie správ vo veľkom meradle alebo streamov
iskra
Apache Spark je open-source klastrový počítačový framework. Pôvodne vyvinutá na kalifornskej univerzite, Berkeley's Amp Lab, bola Spark codebase darovaná Apache Software Foundation. Spark poskytuje rozhranie na programovanie celých zhlukov s implicitným paralelizmom údajov a odolnosťou proti chybám.
Keď bol predstavený Hadoop, Map-Reduce bol základným spúšťacím motorom pre každú úlohu úlohy. V procese vykonávania Map-Reduce (čítanie - zápis) sa stalo na skutočnom pevnom disku. To je dôvod na viac času a priestorovej spotreby v čase vykonávania.
Apache Spark je platforma s otvoreným zdrojom. Zlepšuje kvalitu vykonávania ako proces zmenšenia mapy. Je to otvorená platforma, kde môžete používať niekoľko programovacích jazykov ako Java, Python, Scala a R. Spark poskytuje vykonávanie v pamäti, ktoré je 100x rýchlejšie ako MapReduce. Používa sa definícia RDD. RDD je robustná distribuovaná množina údajov, ktorá vám umožňuje ukladať údaje do pamäte transparentným spôsobom a uchovávať ich na disku iba podľa potreby. Tu je čas na prístup k údajom z pamäte namiesto disku.
Spark je platforma, kde môžeme uchovávať údaje v dátovom rámci a spracovať ich. Vývojár aplikácií, Data Scientist, Data Analyst môže použiť Spark na spracovanie obrovského množstva údajov v minimálnom časovom období. V programe Spark môžeme použiť funkciu, ako je interaktívna, iteračná analýza údajov.
Streamovanie iskier je ďalšou funkciou, kde môžeme spracovávať údaje v reálnom čase. Banková doména musí sledovať transakciu v reálnom čase, aby zákazníkovi ponúkla čo najlepšiu ponuku a sledovala podozrivé transakcie. Streamovanie iskier je najobľúbenejšie v mladšej generácii Hadoop. Spark je ľahké API, ktoré sa ľahko vyvíja a ktoré vývojárom pomôže rýchlo pracovať na projektoch streamovania. Streamovanie iskier ľahko obnoví stratené údaje a bude schopné doručiť presne, hneď ako bude k dispozícii architektúra. A bez ďalšieho úsilia v oblasti kódovania Môžeme súčasne pracovať na streamovaní iskier v reálnom čase a historických dávkových dátach (Lambda Architecture).
V Spark Streamovanie môžeme použiť viac nástrojov, ako je napríklad Flume, Kafka, RDBMS ako zdroj alebo drez.
Alebo môžeme priamo streamovať z RDBMS do Spark.
Môžeme spustiť iskru na vrchole HDFS alebo bez HDFS. Preto každý hovorí o jeho nahradení Hadoopom. HDFS je základný súborový systém pre Hadoop. HDFS môžeme použiť ako zdroj alebo cieľový cieľ.
Použitie Spark SQL používa na spracovanie údajov základné dotazy SQL. Táto iskra poskytuje lepšiu funkciu, ako je Mlib (Machine Learning Library), pre vedcov údajov, ktorí predpovedajú.
Porovnanie Head to Head medzi Kafka vs Spark (Infographics)
Nasleduje Top 5 Porovnanie medzi Kafka vs Spark
Kľúčový rozdiel medzi Kafkou a Sparkom
Poďme diskutovať o niektorých hlavných rozdieloch medzi Kafkou a Sparkom:
- Kafka je sprostredkovateľ správy. Spark je platforma s otvoreným zdrojom.
- Kafka má producenta, spotrebiteľa, tému, ktoré pracujú s údajmi. Ak Spark poskytuje platformu, stiahnite údaje, podržte ich, spracujte ich a posúvajte ich od zdroja k cieľu.
- Kafka poskytuje streamovanie v reálnom čase, proces okna. Tam, kde Spark umožňuje prúdový aj dávkový proces.
- V Kafke nemôžeme vykonať transformáciu. Kam v hre Spark vykonávame ETL
- Kafka nepodporuje žiadny programovací jazyk na transformáciu údajov. Kde iskra podporuje viac programovacích jazykov a knižníc.
- Kafka sa teda používa na vysielanie v reálnom čase ako kanál alebo sprostredkovateľ medzi zdrojom a cieľom. Ak Spark používa pre tok údajov v reálnom čase, dávkový proces a ETL.
Funkcie Kafka vs Spark
Existujú niektoré kľúčové vlastnosti:
- Tok údajov: Kafka verzus Spark poskytuje streamovanie údajov v reálnom čase od zdroja k cieľu. Kafka len tok údajov do témy, Spark je procesný tok dát.
- Spracovanie dát: Nemôžeme vykonať žiadnu transformáciu údajov, pomocou ktorých Spark môžeme transformovať dáta.
- Data Persistent: Kafka pretrváva údaje do určitej doby, ako je to definované v konfigurácii. Aby sme údaje zachovali, musíme použiť dátový rámec alebo objekt súboru údajov.
- Transformácia ETL: Pomocou Spark môžeme vykonať ETL, kde Kafka neposkytuje ETL.
- Správa pamäte: Spark používa RDD na ukladanie údajov distribuovaným spôsobom (tj cache, local space), kde Kafka ukladá dáta v Topic tj do vyrovnávacej pamäte.
Porovnávacia tabuľka medzi Kafkou a Sparkom
Nižšie je najlepšie porovnanie medzi Kafka vs Spark:
| Kritériá funkcie | Apache Spark | Kafka |
| rýchlosť | 100-krát rýchlejšie ako Hadoop | Slušná rýchlosť |
| spracovanie | Spracovanie v reálnom čase a šarže | Len spracovanie v reálnom čase / v okne |
| Obtiažnosť | Ľahko sa učí vďaka modulom vysokej úrovne | Jednoduchá konfigurácia |
| zotavenie | Umožňuje obnovenie oddielov pomocou vyrovnávacej pamäte a RDD | Odolné proti chybám / Replication |
| interaktivita | Má interaktívne režimy | Žiadny interaktívny režim / Spotreba údajov |
záver
Kafku môžeme použiť ako sprostredkovateľa správ. Údaje môžu pretrvávať po určité časové obdobie. Pomocou Kafky môžeme vykonávať operácie okna v reálnom čase. V Kafka však nemôžeme vykonať transformáciu ETL. Pri použití Spark môžeme vytrvať v dátovom objekte a vykonávať transformácie end-to-end ETL.
Takže je to najlepšie riešenie, ak používame Kafku ako platformu na streamovanie v reálnom čase pre Spark.
Odporúčaný článok
Toto bol návod na najväčší rozdiel medzi Kafkou a Sparkom. Ďalej diskutujeme o kľúčových rozdieloch Kafka vs Spark s informačnými a porovnávacími tabuľkami. Ďalšie informácie nájdete aj v nasledujúcich článkoch. Ďalšie informácie nájdete aj v nasledujúcich článkoch -
- Rozdiel medzi Apache Kafka vs Flume
- Apache Storm vs Kafka
- Apache Hadoop vs Apache Spark
- Google Cloud vs AWS
- Kafka vs Kinesis Top 5 rozdielov