Úvod do talentu a SSIS
Talend je nástroj ETL, ktorý pomáha organizácii s prístupnými údajmi. To vám umožní pripojiť sa k viacerým základniam údajov. Talend je flexibilný pri práci s rôznymi zdrojmi údajov a platformami. Pomáha pri integrácii údajov, riadení podnikových procesov, riadení kmeňových údajov a kvalite údajov. Dá sa to povedať ako budúcnosť integrácie údajov. SSIS je skratka pre „SQL Server Integration Services“. Pomáha pri migrácii, transformácii, ETL a ďalších funkciách. Toto je ďalší nástroj ETL, ktorý pomáha pri vykonávaní zložitých riešení, ako je čítanie údajov z rôznych zdrojov, a tiež zahŕňa analýzu a čistenie údajov, spúšťanie procesov ETL s cieľom aktualizovať sklady údajov. Obsahuje sadu nástrojov s názvom SQL Server Data Tools, na vývoj a testovanie integračných programov.
Pozrime sa podrobnejšie na Talend a SSIS:
V tomto článku porovnáme dva z najlepších nástrojov ETL dostupných na trhu - Talend a SSIS. Pred začatím tohto vhadzovania sa pokúsime zistiť, čo sú Talend a SSIS? A čo sú schopní?
Čo je Talend?
Talend je nástroj ETL rovnako ako Informatica, ktorý pomáha spoločnostiam tým, že sprístupňuje údaje. Umožňuje vám pripojiť sa k viacerým základnám údajov. Talend je postavený takým spôsobom, že je dostatočne flexibilný na to, aby spolupracoval so všetkými zdrojmi údajov a platformami tam na trhu. Zahŕňa integráciu údajov, kvalitu údajov, správu kmeňových údajov a riadenie obchodných procesov. Je pre vás všetko, aby vaše údaje pre vás znamenali. Myslíme si, že je to budúcnosť integrácie údajov.
Funkcie Talend:
- Talend beží na platforme Java.
- Talend využíva JDBC na pripojenie k iným databázovým systémom.
- Talend ukladá pripájacie reťazce do metadát, kde sú definované pripájacie reťazce.
- Talend využíva Palette na špecifikovanie typu úlohy v závislosti od typu práce ETL.
- Spracovateľská paleta má rôzne úlohy, ktoré sa používajú na filtrovanie a agregáciu údajov a na pripojenie sa k viacerým zdrojom údajov pomocou primárneho.
Čo je SSIS?
SSIS je skratka pre „SQL Server Integration Services“. Spoločnosť Microsoft zaviedla systém SSIS s cieľom konkurovať segmentu migrácie dát, ETL a transformácie. Spoločnosť Microsoft ho splnomocňuje so všetkou muníciou na pomoc pri migrácii údajov, transformácii, ETL a ďalších funkciách. Tento nástroj ETL môže vykonávať komplexné riešenie, ako je čítanie údajov z rôznych zdrojov, analýza a čistenie údajov, spúšťanie procesov ETL na aktualizáciu dátových skladov, zápis údajov do rôznych zdrojov a e-mail konkrétnej osobe alebo skupine. Obsahuje sadu nástrojov na vývoj a testovanie integračných programov s názvom SQL Server Data Tools
Funkcie SSIS:
- SSIS dokáže spracovať údaje z heterogénnych zdrojov údajov.
- Údržba SSIS je jednoduchšia.
- SSIS je úzko integrovaný s SQL Server a Microsoft Visual Studio.
- SSIS načítava údaje do SQL rýchlejšie pomocou SQL Server Destination.
- Pri vkladaní údajov do SQL SSIS odstraňuje problém s úzkym profilom siete.
- SSIS je lepší pre zložité transformácie, viacstupňové operácie, agregáciu údajov z rôznych zdrojov alebo typov údajov a štruktúrované spracovanie výnimiek.
Porovnanie „Head to Head“ medzi Talendom a SSIS (Infographics)
Nižšie je najlepších 8 Porovnanie medzi Talendom a SSIS
Porovnanie rýchlosti medzi Talendom a SSIS
PRÍPAD POUŽITIA
Aby sme otestovali schopnosť obidvoch nástrojov ETL, naložili sme jeden plochý súbor s oddeľovačom do iného súboru s oddeľovačom na rovnakom serveri. Súbor pozostáva z 20 miliónov záznamov a jeho veľkosť je približne 1, 5 GB.
Konfigurácia klastra
- Server: IBM - System x3650 M3
- Procesor: Intel Xeon X5680 pri 3, 33 GHz (2 procesory)
- RAM: 76 GB
- OS: Windows Server 2008 R2 - 64 bit
- Talend v5.3.1 Otvorené štúdio
- JDK 1.7.0
- JRE 7
- SQL Server 2008 - SP1
POROVNANIE - Summit vs SSIS
Ak chcete získať dostatočne veľkú vzorku, vykonal som test trikrát.
| pokus | záznamy | Talendov čas | Čas SSIS |
| 1 | 20000000 | 92, 28 | 49.71 |
| 2 | 20000000 | 92, 99 | 50.2 |
| 3 | 20000000 | 86, 69 | 51.83 |
Na dokončenie tejto úlohy trvalo Talend v priemere 67, 69 sekúnd, zatiaľ čo SSIS dokončil tú istú prácu v priemere 39, 8 sekundy.
Porovnávacia tabuľka Talend verzus SSIS
| Základ pre porovnanie | SSIS | Talend |
| vývojka | Microsoft | Talend |
| objektívny | Extrakcia, transformácia a načítanie údajov z viacerých zdrojov s rôznym formátovaním | Vytváranie úloh ETL alebo zdrojov údajov z viacerých miest a pre lepšiu kompatibilitu údajov ich treba integrovať |
| Pros |
|
|
|
|
|
| Zápory |
|
|
|
|
|
| Návratnosť investícií | Po vývoji sú vaše balíčky veľmi stabilné a vyžaduje si relatívne malú údržbu, ktorá šetrí veľa pracovného času | Integrácia dát Talend Integration zefektívnila správu dátových skladov, ktorá môže znížiť tak náklady, ako aj čas |
| Miesto na zlepšenie | SSIS môže zlepšiť spracovanie rôznych typov údajov. Veľkou výzvou pre SSIS bude aj pripojenie k rôznym zdrojom údajov, ako je pripojenie Salesforce, pripojenie Oracle Cloud atď. Očakávajúc zlepšenie v týchto oblastiach. | Verzia s otvoreným zdrojovým kódom by mala obsahovať funkcie ako verzovanie zdrojového kódu a paralelné vykonávanie. |
| Problémy so škálovateľnosťou | nikto | Než sa dostaneme k optimálnemu výkonu, vyžaduje sa trochu naladenia. |
| podpora | Podpora je vynikajúca. Môžete tiež získať predpísané úlohy skriptu s rôznymi funkciami, ktoré šetria veľa času. | Dobrá podpora, najmä ak sa týka prostredia PROD. |
Záver - Talend vs SSIS
Po tomto teste je jasne vidieť, že SSIS má pri niektorých jednoduchých transformáciách lepšiu výkonnosť ako Talend. To však neznamená, že SSIS prekoná Talend vo všetkých oblastiach. Táto testovacia veľkosť bola malá a vieme, že Talend dokáže oveľa efektívnejšie robiť SSIS a je otvoreným zdrojom. Nakoniec môžeme konštatovať, že oba tieto nástroje majú svoje vlastné klady a zápory a záleží na vašej požiadavke, aby ste si mohli vybrať medzi týmito dvoma.
Odporúčané články
Toto bol sprievodca Talendom vs SSIS, ich významom, porovnávaním medzi jednotlivými účastníkmi, porovnávaním rýchlosti, porovnávacou tabuľkou a záverom. Ďalšie informácie nájdete aj v nasledujúcich článkoch -
- Zistite 12 najlepších rozdielov medzi programami Informatica PowerCenter a Talend Vs
- Vizualizácia dát s dolovaním údajov - ktorá je lepšia
- Najlepší rozdiel medzi analýzou údajov o ťažbe dát z Vs
- Business Intelligence vs BigData - 6 úžasných porovnaní