Príkazy Sqoop Základné príkazy s tipmi a trikmi

• Úvod do príkazov Sqoop

Úvod do príkazov Sqoop

V príkazoch Sqoop sa každý riadok považuje za záznamy a úlohy sa vnútorne delia na podúlohy. Databázy, ktoré sú podporované príkazom sqoop, sú MYSQL, Oracle, IBM, PostgreSQL. Sqoop poskytuje jednoduchý príkazový riadok, môžeme načítať dáta z inej databázy pomocou príkazov sqoop. Sú napísané v Jave a používajú JDBC na pripojenie k iným databázam.

Znamená skratky „SQL to Hadoop“ a Hadoop to SQL a nástroj s otvoreným zdrojom. Je to nástroj na pripojenie aplikácií, ktorý prenáša hromadné údaje medzi relačným databázovým systémom a Hadoopom (Hive, map redu, Mahout, Pig, HBase). Umožňujú používateľom špecifikovať cieľové umiestnenie vo vnútri Hadoopu a prinútiť sqoop presunúť údaje z RDMS do cieľa. Poskytujú optimalizované konektory MySQL, ktoré používajú databázovo špecifické API na úplné hromadné prevody. Používateľ importuje údaje z externých zdrojov, ako je Hive alebo Hbase. Posuvná doska má dva formáty súborov: formát oddeleného textového súboru a formát sekvenčného súboru.

Tu sú základné príkazy príkazov Sqoop:

1. Tabuľka so zoznamom:

Tento príkaz uvádza konkrétnu tabuľku databázy na serveri MYSQL.

Príklad:

2. Cieľový adresár:

Tento príkaz importuje tabuľku do konkrétneho adresára v HDFS. -m označuje argument mapovača. Majú celočíselnú hodnotu.

Príklad:

3. Ochrana heslom:

Príklad:

4. sqoop-eval:

Tento príkaz rýchlo spúšťa dotazy SQL príslušnej databázy.

Príklad:

5. sqoop - verzia:

Tento príkaz zobrazí verziu príkazu sqoop.

Príklad:

6. sqoop-job

Tento príkaz nám umožňuje vytvoriť úlohu, vytvorené parametre je možné kedykoľvek vyvolať. Berú možnosti ako (–create, –delete, –show, –exit).

Príklad:

7. Načítanie súboru CSV do SQL:

Príklad:

8. konektor:

Príklad:

9. kód gen:

Tento príkaz Sqoop vytvára súbory triedy java, ktoré zapuzdrujú importované záznamy. Všetky súbory java sa znova vytvoria a vygenerujú sa nové verzie triedy. Generujú kód na interakciu s databázovými záznamami. Načíta zoznam všetkých stĺpcov a ich dátových typov.

Príklad:

10.List-database:

Tieto zoznamy príkazov Sqoop majú všetku dostupnú databázu na serveri RDBMS.

príklad:

Priebežné príkazy príkazov Sqoop:

1.sqoop -meta store:

Tento príkaz je hostiteľom zdieľaného archívu metadát. Viacerí / vzdialení používatelia môžu spúšťať niekoľko úloh.

Command:

$ sqoop .metastore.client.autoconnect.url

príklad: jdbc: hsqldb: hsql: // metastore .example.com / sqoop

2. sqoop -help:

Tento príkaz uvádza zoznam dostupných nástrojov v nástroji sqoop a ich účel.

Command:

$ sqoop pomoc

$ bin / sqoop pomoc s importom

3. Vývoz:

Tento príkaz exportuje údaje z HDFS do databázy RDMS. V HDFS sa údaje ukladajú ako záznamy.

Command:

$ sqoop export \ –connect jdbc: mysql: // localhost / invent - username jony –tabulka lib –export -dir / user / jony / invent.

4. Vložiť:

Tento príkaz vloží nový záznam z tabuľky HDFS do tabuľky RDBMS.

príkaz

$ sqoop export –connect JDBC: MySQL: // localhost / sqoop_export - tabuľka emp_exported –export -dir / sqoop / newemp -m -000

5. Aktualizácia:

Tento príkaz Sqoop aktualizuje záznamy v RDBMS z údajov HDFS.

príkaz

$ sqoop export –connect JDBC: MySQL: // localhost / sqoop_export - tabuľka emp_exported –export -dir / sqoop / newemp -m -000 –update -key id

6. Šaržová možnosť:

Tento príkaz vkladá viac riadkov dokopy, optimalizuje rýchlosť vkladania pomocou ovládača Sqoop JDBC.

príkaz

$ sqoop export \ -connect JDBC: MySQL: // hostname / –username -password -export -dir

7. Split:

Pri použití tohto príkazu sa klauzula where použije na celý SQL.

príkaz

$ sqoop import -D mysql: // jdbc: // where.clause.location = SPLIT –tabuľka JUNK - kdekoľvek „rownum <= 12“

8. AVRO súbor do HDFS:

Ukladajú údaje RDBMS ako súbor Avro.

príkaz

$ sqoop import –connect JDBC: MySQL: // localhost / Acadgild - užívateľské meno root - heslo pp.34 - platba stola -m1 - cieľ - dir / sqoop_data / payment / avro / == ako -avrodatfile.

Pokročilé príkazy príkazov Sqoop:

Príkazy na import:

Príkazy na import majú argumenty na kontrolu importu. rôzne argumenty sú tieto:

• hranica: používa sa na vytváranie medzier.
• as - textový súbor: importuje údaje vo formáte obyčajného textu
• -columns (: importovať stĺpce pre tabuľku
• -m, - num: na import úloh paralelného mapovania
• split-by: Rozdeľuje stĺpec tabuľky
• -z, - compress: kompresia údajov je povolená.

Argumenty prírastkového dovozu:

• check - column: Označuje stĺpce na určenie, ktoré riadky sa majú importovať.
• inkrementálne (režim): označuje nové riadky (zahrnúť pripojiť a posledne upraviť riadky)

Argumenty výstupného riadku:

• riadky -terminované -by: Nastavujú znak eol
• MySQL - oddeľovače: nastavujú \ n polia: riadky:

Importovať do Úľa

-hive - import: Importujú tabuľky do úľa

-hive - partition-key: Názov oddielu je zdieľaný.

-hive - prepísať: Prepíšu údaje v existujúcej tabuľke.

Importovať do argumentov Hbase:

-accumulo-table: Špecifikuje cieľovú tabuľku v HBase.

-accumulo -column: Ak chcete importovať, nastaví cieľový stĺpec.

-accumulo -: Na importovanie názvu akumulátora

–Accumulo -: Na import hesla akumulátora

Ukladanie do súborov sekvencií:

$ sqoop import -connect jdbc: mysql: //db.foo.com/emp -table inventár \ - class-name com.foo.com.Inventory -as - sekvenčný súbor

Import dopytov:

Tento príkaz špecifikuje príkaz Sql s argumentom -query.

$ sqoop import \ –query 'SELECT a. *, b. * z JOIN b na (a.id = b.id) kde $ podmienky' \ -split - podľa / target-dir / user

Prírastkový vývoz:

$ sqoop export –connect –table –username –password –krementálne –check-row –last-value

Import všetkých tabuliek do systému HDFS:

$ sqoop import -all - tables –connect jdbc: mysql: // localhost / sale_db - root užívateľského mena.

Import údajov do Úľa:

$ sqoop import –connect –table –username –password –hive -import - hive -table

Import údajov do HBase:

príkaz:

$ sqoop import –connect –table –username –password –hive -import - HBase -table

Kódovať nulové hodnoty:

príkaz:

$ mysql import \ –connect JDBC: MySQL: //mysql.ex.com/sqoop \ –používateľské meno sqoop \ -password sqoop \ –table lib \ –null -string '

Tipy a triky na použitie príkazov Sqoop:

Ak chceme efektívne vykonávať operácie s údajmi, musíme použiť príkaz sqoop, len pomocou jedného príkazového riadku môžeme v ňom vykonať veľa úloh a čiastkových úloh. Sqoop sa pripája k rôznym relačným databázam prostredníctvom konektorov, na komunikáciu s ním využíva ovládač JDBC. Pretože sqoop beží na svojom vlastnom zdroji, môžeme spustiť sqoop bez procesu inštalácie. Vykonanie príkazu sqoop je jednoduché, pretože sa údaje vykonávajú paralelne. Pomocou funkcie Map redu môžeme importovať a exportovať údaje, čo zase umožňuje paralelné vykonávanie.

Záver - Príkazy Sqoop:

Na záver možno povedať, že spoločnosť Sqoop Commands reguluje proces importu a exportu údajov. Sqoop poskytuje prostriedok na aktualizáciu častí tabuľky prírastkovým zaťažením. Import údajov v sqoop nie je riadený udalosťami. A prichádza sqoop2 s povoleným GUI pre ľahký prístup spolu s príkazovým riadkom. Prenos údajov je rýchly, pretože sa prenášajú paralelne. Zohrávajú dôležitú úlohu v prostredí spoločnosti Hadoop. Svoju prácu vykonávajú samostatne, pri dovoze malých súborov údajov nie sú potrebné.

Odporúčané články

Toto bol sprievodca príkazmi Sqoop. Tu sme diskutovali základné aj pokročilé príkazy Sqoop a niektoré okamžité príkazy Sqoop. Viac informácií nájdete aj v nasledujúcom článku -

1. Sqoop Rozhovor Otázky a odpovede
2. Cheat sheet SQL (Príkazy, Tipy a triky)
3. Dôležité príkazy VBA
4. Tableauove príkazy