Úvod do nástrojov spoločnosti Kafka
Kafka Tools je zbierka rôznych nástrojov, pomocou ktorých môžeme spravovať náš Kafka Cluster. Nástroje sú väčšinou založené na príkazovom riadku, ale sú k dispozícii aj nástroje založené na používateľskom rozhraní, ktoré je možné stiahnuť a nainštalovať.
Nástroje Kafka môžeme použiť na vykonávanie rôznych operácií, ako napríklad:
- Zoznam dostupných klastrov spoločnosti Kafka a ich sprostredkovateľov, tém a spotrebiteľov.
- V štandardnom výstupe je možné tlačiť správy z rôznych tém. Nástroje založené na používateľskom rozhraní môžu určite poskytnúť lepšiu čitateľnosť.
- Pridajte a odložte témy od maklérov.
- Pridajte nové správy do oddielov.
- Prezrite si všetky kompenzácie našich spotrebiteľov.
- Vytvorte oblasti našich tém.
- Zoznam všetkých spotrebiteľských skupín, opis spotrebiteľských skupín, odstránenie informácií o spotrebiteľských skupinách a resetovanie kompenzácií spotrebiteľských skupín.
Ak chceme používať nástroj založený na používateľskom rozhraní, môžeme použiť nástroj Kafka Tool, ktorý si môžete stiahnuť z nasledujúcej webovej stránky:
http://www.kafkatool.com/download.html
Táto aplikácia je k dispozícii zadarmo na osobné použitie, ale na komerčné použitie je potrebné zakúpiť si licenciu. Dobrá vec na tom je jeho dostupnosť pre systémy Mac, Windows a Linux.
Top 3 typy nástrojov Kafka
Nástroje Kafka sú rozdelené do systémových nástrojov a aplikačných nástrojov.
1. Systémové nástroje
Systémové nástroje je možné spustiť pomocou nasledujúcej syntaxe.
syntaxe:
bin/kafka-run-class.sh package.class - - options
Niektoré zo systémových nástrojov sú nasledujúce:
- Nástroj na migráciu spoločnosti Kafka : Tento nástroj sa používa na migráciu softvéru Kafka Broker z jednej verzie do druhej.
- Kontrola ofsetu spotrebiteľa: Tento nástroj môže zobraziť skupinu zákazníkov, tému, oddiely, posun, logSize, vlastníka pre zadanú skupinu tém a skupinu spotrebiteľov.
- Mirror Maker: Tento nástroj sa používa na zrkadlenie jedného zoskupenia Kafka do druhého.
2. Replikačné nástroje
V zásade ide o návrhové nástroje na vysokej úrovni, ktoré sa vyznačujú odolnosťou a dostupnosťou.
Niektoré z replikačných nástrojov sú:
- Nástroj na vytváranie tém : Tento nástroj sa používa na vytváranie tém s predvoleným počtom oddielov a faktorom replikácie.
- Zoznam tém: Tento nástroj slúži na vypísanie informácií pre daný zoznam tém. Skvelá vec tohto nástroja je, že ak už v príkazovom riadku nie je k dispozícii žiadna téma, požiada Zookeepera, aby najskôr načiahol zoznam tém a potom o nich vytlačil informácie. Uvádzajú sa v nej rôzne polia ako Názov témy, Oddiely, Vodca, Repliky atď.
- Add Partition Tool: Tento nástroj sa používa na pridanie oddielov do témy, ktorá je potrebná na zvládnutie nárastu objemu údajov v téme. Upozorňujeme však, že pri vytváraní témy musíme určiť oddiely. Tento nástroj nám umožňuje pridať manuálne repliky pre pridané oddiely.
3. Rôzne nástroje
Teraz si preberieme niekoľko rôznych nástrojov:
a. Kafka-Topics Tool
Tento nástroj sa používa na vytváranie, zoznam, zmenu a popis tém.
Príklad: Vytvorenie témy: bin/kafka-topics.sh --zookeeper zk_host:port/chroot --create --topic topic_name --partitions 30 --replication-factor 3 --config x=y
b. Kafka-Console-Consumer Tool
Tento nástroj sa dá použiť na čítanie údajov z tém Kafka a ich zápis na štandardný výstup
Príklad: bin/kafka-console-consumer --zookeeper zk01.example.com:8080 --topic topic_name>/code>
c. Nástroj Kafka-konzola-výrobca
Tento nástroj sa dá použiť na zápis údajov do témy Kafka zo štandardného výstupu.
Príklad: bin/kafka-console-producer --broker-list kafka03.example.com:9091 --topic topic_name
d. Nástroj Kafka-spotrebiteľské skupiny
Tento nástroj sa dá použiť na zoznam všetkých skupín spotrebiteľov, na opis skupiny spotrebiteľov, vymazanie informácií o skupine zákazníkov alebo na resetovanie kompenzácií skupín spotrebiteľov. Tento nástroj sa používa hlavne na popis skupín spotrebiteľov a na ladenie akýchkoľvek problémov s kompenzáciou spotrebiteľov.
Príklad: Zobrazenie posunov v nezabezpečenom klastri: bin/kafka-consumer-groups --new-consumer --bootstrap-server broker01.example.com:9092 --describe --group group_name
Kafka Architecture
Rôzne komponenty nástrojov Kafka
Hlavné komponenty Kafky sú tieto:
1. Maklér
Každý uzol v klastri Kafka je sprostredkovateľ, ktorý ukladá údaje. Spravidla existuje viac brokerov, aby sa záťaž správne vyvážila. Maklér ukladá správy vo forme tém, ku ktorým majú výrobcovia (na písanie) a spotrebitelia (na čítanie) prístup. Témy sa vytvárajú na oddelenie údajov jednej aplikácie od údajov druhej. Keďže makléri sú bez štátnej príslušnosti, potrebujú Zookeeperovu pomoc, aby si udržali svoj stav klastra. Jeden sprostredkovateľ dokáže spracovávať správy TB bez akéhokoľvek dopadu na výkon. Voľba vedúceho makléra spoločnosti Kafka sa uskutočňuje zookeeperom.
2. Výrobca
Je to jednotka, ktorá tlačí správy do maklérov. Môže existovať viac výrobcov, ktorí generujú údaje veľmi vysokou rýchlosťou a nezávisle od seba. Výrobcovia nedostávajú potvrdenie od maklérov a posielajú údaje rýchlosťou, ktorú môžu makléri vybaviť. Hneď ako začnú makléri, môžu vyhľadávať maklérov a odosielať správy. Výrobca je zodpovedný za výber správy, ktorá sa má priradiť ku ktorej časti v rámci témy. To sa dá urobiť spôsobom „okrúhleho robinovania“ jednoducho na vyváženie záťaže alebo sa to dá vykonať podľa nejakej funkcie sémantického oddielu (povedzme na základe nejakého kľúča v správe).
3. Zookeeper
Je to jednotka, ktorá riadi a koordinuje maklérov. Zookeeper upovedomí výrobcu alebo spotrebiteľa v prípade pridania alebo zlyhania sprostredkovateľa. Každý maklér posiela zookeeperovi žiadosti o srdcový rytmus v pravidelných intervaloch, pokiaľ je nažive. Zookeeper tiež udržuje informácie o témach a kompenzáciách spotrebiteľov.
4. Spotrebiteľ
Je to jednotka, ktorá číta správy z tém. Spotrebiteľ sa môže prihlásiť na odber a čítanie viacerých tém. Spotrebiteľ môže pracovať súbežne s ostatnými spotrebiteľmi (v tomto prípade bude každá oblasť čítaná iba jedným spotrebiteľom) tvoriacu skupinu spotrebiteľov. Nefunguje to synchronizácia s výrobcami. Spotrebiteľ musí udržiavať počet správ, ktoré prečítal pomocou offsetu oddielov. Ak spotrebiteľ akceptuje určitý posun oddielu, znamená to, že už spotreboval predchádzajúce správy v oddiele.
záver
V tomto článku sme sa naučili, ako môžeme používať rôzne nástroje Kafka na efektívne riadenie nášho klastra Kafka. Dozvedeli sme sa tiež o rôznych zložkách ekosystému Kafka a o tom, ako spolu navzájom pôsobia.
Odporúčané články
Toto je sprievodca nástrojmi Kafka. Tu diskutujeme Typy nástrojov Kafka, Rôzne komponenty Kafky spolu s architektúrou Kafky. Viac informácií nájdete aj v nasledujúcom článku -
- Najlepšie aplikácie Kafka
- Vysvetlenie architektúry veľkých dát
- Najlepšie nástroje pre vedu o údajoch
- Rozdiely medzi Kafka vs Spark