Úvod do nástrojov Talend
Talend otvorené štúdio má viac ako 700 komponentov v oblastiach, ako sú veľké dáta, databázy, cloud, atď. Talend otvorené štúdio sa dá rozdeliť do mnohých podobných, ako je Talend otvorené štúdio pre integráciu dát a otvorené štúdio pre veľké dáta, atď. V tomto článku sme podrobne uvidia rôzne nástroje talentu.
Súčasti / nástroje Talend Open Studio
Talend Open Studio pre integráciu dát pokrýva nasledujúce oblasti / technológie pomocou niektorých vstavaných komponentov, ktoré pomáhajú pri ľahkom spracovaní.
- Komponenty veľkých dát
- Obchodné komponenty
- Komponenty Business Intelligence
- Cloudové komponenty
- Komponenty vlastného kódu
- Zložky kvality údajov
- Databázy - tradičné komponenty
- Databázy - komponenty zariadenia / dátového skladu
- Databázy - ďalšie komponenty
- Komponenty DotNET
- Komponenty ELT
- Komponenty ESB
- Komponenty súborov
- Internetové komponenty
- Zložky denníkov a chýb
- Zložky rôznych skupín
- Komponenty orchestrácie
- Spracovanie komponentov
- Súčasti systému
- Komponenty Talend MDM
- Technické komponenty
- Komponenty XML
Tu budeme diskutovať o niekoľkých komponentoch z Talend Open Studio pre integráciu dát.
1. tS3Connection: Tento komponent sa používa na pripojenie k amazonu s3. Komponenty môžu toto pripojenie použiť na jednoduché nastavenie pripojenia k amazon s3.
2. Vstup tS3: Používa sa na čítanie súboru zo systému súborov S3. Má niektoré funkcie podobné tfileinputdelimited, ale používa službu Amazon Simple Storage.
3. tS3Output: Používa sa na zápis údajov do systému súborov S3. Má niektoré funkcie podobné tfileoutputdelimited, ale používa službu Amazon Simple Storage.
4. ts3Put: Používa sa na umiestnenie súboru do systému súborov S3 z lokálneho systému.
5. ts3Get: Táto súčasť sa používa na načítanie súboru zo S3 do lokálneho systému.
6. tS3BucketCreate: Tento komponent sa používa na vytvorenie vedra na S3.
7. tS3BucketDelete: Tento komponent sa používa na vymazanie vedra na S3.
8. tS3BucketExist: Tento komponent sa používa na kontrolu, či daný vedro existuje na S3. Vracia výsledok v true alebo false booleovskú hodnotu, ktorú je možné použiť ako globálnu mapu.
9. tS3BucketList: Tento komponent sa používa na zoznam všetkých vedier na S3.
10. tS3Copy: Tento komponent sa používa na kopírovanie objektu S3 z jedného vedra do druhého vedra. Je to podobné tFileCopy.
11. tS3Delete: Táto súčasť sa používa na odstránenie objektu S3 z vedra. Je to podobné tFileDelete.
12. tS3Close: Tento komponent sa používa na ukončenie spojenia S3, ktoré sa vytvorí pomocou pripojenia tS3Connection.
13. tCreateTemporaryFile: Táto súčasť vytvára dočasný súbor, ako je tFileOutputDelimited, ale tento dočasný súbor môže byť automaticky vymazaný po dokončení úlohy alebo môže byť zachovaný.
14. tFileArchive: Táto súčasť sa používa na vytvorenie komprimovaného súboru z jedného alebo viacerých súborov. Šifrovanie je možné použiť aj pri kompresii.
15. tFileCompare: Táto zložka sa používa na porovnanie dvoch súborov a vráti porovnávacie údaje.
16. tFileUnarchive: Táto súčasť sa používa na dekomprimovanie súboru so zipsom.
17. tFileCopy: Tento komponent sa používa na kopírovanie súboru alebo priečinka do cieľového adresára.
18. tFileDelete: Tento komponent sa používa na vymazanie súboru alebo priečinka.
19. tFileExist: Táto súčasť sa používa na kontrolu, či súbor existuje alebo nie. Vracia výsledok v true alebo false booleovskú hodnotu, ktorú je možné použiť ako globalMap.
20. tFileInputExcel: Táto súčasť sa používa na čítanie súboru programu Excel na základe definovanej schémy.
21. tMsgBox: Tento komponent sa používa na zobrazenie dialógového okna s tlačidlom OK.
22. tRowGenerator: Tento komponent sa používa na vytvorenie ľubovoľného počtu riadkov so stĺpcami so špecifickými hodnotami alebo náhodnými hodnotami. Používa sa väčšinou na účely testovania a vytvárania vzorových testovacích súborov.
23. tIterateToFlow: Používa sa na transformáciu zoznamu tokov na hlavný tok, čo znamená iterovať-> riadok-> hlavný.
24. tFlowToIterate: Používa sa na transformáciu hlavného toku na zoznam tokov, čo znamená main-> row-> iterate.
25. tLoop: Používa sa na opakovanie určitej úlohy.
26. tReplikát: Používa sa na replikáciu prichádzajúcej schémy do dvoch výstupných tokov.
27. tRunJob: Používa sa na spustenie ďalšej talentovej úlohy v rámci aktuálnej úlohy po podrobení sa ok.
28. tSleep: Používa sa na pozastavenie vykonávania úlohy alebo konkrétneho subjobu na určitý čas v sekundách.
29. tWaitForFile: Preskúma konkrétny adresár a na základe stavu spustí ďalší komponent.
30.tMysqlBulkExec: Táto súčasť sa používa na ponúknutie zvýšenia výkonu pri vykonávaní operácií vloženia v databáze Mysql.
31. tMysqlClose: Táto zložka sa používa na ukončenie spojenia mysql, ktoré vytvára tMysqlConnection.
32. tMysqlRow: Táto súčasť sa používa na priame spustenie dotazu SQL v databáze MySQL.
33. tMysqlTableList: Tento komponent sa používa na vymenovanie názvov tabuliek.
34. tMysqlColumnList: Táto zložka sa používa na opakovanie všetkých stĺpcov tabuľky.
35. tMysqlCommit: Tento komponent sa používa na potvrdenie zmien vykonaných v databáze Mysql.
36. tMysqlLastInsertId: Tento komponent sa používa na získanie poslednej vloženej hodnoty kľúča
37. tMysqlOutputBulk: Táto zložka sa používa na zápis súboru so stĺpcami na základe oddeľovača.
38. tMysqlOutputBulkExec: Táto zložka sa používa na zápis súboru so stĺpcami na základe oddeľovača a potom vykoná tento súbor v databáze Mysql.
39. tContextLoad: Tento komponent sa používa na načítanie hodnôt do kontextu zo vstupného toku. Kontextové premenné by sa mali vytvoriť pred načítaním hodnôt do kontextových premenných. Ak nie sú vytvorené kontextové premenné, zobrazí sa varovanie.
40. tHiveClose: Tento komponent sa používa na ukončenie spojenia vytvoreného pomocou tHiveConnection.
41. tHiveConnection: Táto súčasť sa používa na vytvorenie pripojenia Úľa a môže byť opätovne použitá inými komponentmi Úľa.
42. tHiveRow: Táto súčasť sa používa na priame spustenie dotazov Úľa.
záver
- Komponenty HDFS je možné vidieť v otvorenom štúdiu Talend pre veľké dáta.
- thdfsinput, thdfsoutput sú niektoré z komponentov a sú podobné komponentom súboru.
- tHDFSInput - Číta súbor umiestnený v danom distribuovanom systéme súborov Hadoop (HDFS). Má niektoré funkcie podobné tfileinputdelimited, ale používa distribuovaný systém súborov Hadoop.
- tHDFSOutput - Zapíše súbor do distribuovaného systému súborov Hadoop (HDFS).
- Má niektoré funkcie podobné tfileoutputdelimited, ale používa distribuovaný systém súborov Hadoop.
- tHDFSPut - Používa sa na vloženie súboru do systému súborov HDFS z lokálneho systému.
- tHDFSGet - Táto súčasť sa používa na načítanie súboru z HDFS do lokálneho systému.
Odporúčané články
Toto je sprievodca nástrojmi Talend Tools. Tu diskutujeme o úvode a talentovaných otvorených štúdiových komponentoch alebo nástrojoch na integráciu údajov, medzi ktoré patria tS3Connection, tS3Input, tS3Output a ts3Put atď. Ďalšie informácie nájdete aj v nasledujúcich článkoch -
- Integrácia dát Talend
- Bezplatné nástroje na analýzu údajov
- Talend vs Mulesoft
- Typy vizualizácie údajov
- Dizajn skladu dát
- Typy a manipulácia s chybami v JavaScripte
- Čo je integrácia údajov?