Úvod do zoznamu príkazov Hadoop FS
Hadoop pracuje na vlastnom systéme súborov, ktorý je distribuovaný v prírode známy ako „Hadoop distribuovaný súborový systém HDFS “ . Hadoop sa spolieha na distribuované úložisko a paralelné spracovanie. Tento spôsob ukladania súboru do distribuovaných umiestnení v klastri je známy ako distribuovaný súborový systém Hadoop, tj HDFS. Aby bolo možné vykonávať rôzne operácie na úrovni súborov, HDFS poskytuje svoju vlastnú množinu príkazov známych ako príkazy systému súborov Hadoop. Pozrime sa na tieto príkazy. V tejto téme sa dozvieme viac o príkazoch Hadoop FS.
Príkazy Hadoop FS
Každý príkaz HDFS má predponu „hdfs dfs“. To znamená, že špecifikujeme, že predvolený systém súborov je HDFS. Poďme preskúmať príkazy jeden po druhom
1. Verzie
Príkaz version sa používa na nájdenie verzie Hadoop nainštalovaného v systéme.
Syntax: Hadoop version
2. Príkaz ls
Príkaz ls v Hadoop sa používa na určenie zoznamu adresárov v uvedenej ceste. Príkaz ls berie ako parameter cestu hdfs a vráti zoznam adresárov prítomných v ceste.
Syntax: hdfs dfs -ls
Príklad: hdfs dfs -ls / user / harsha
Môžeme tiež použiť -lsr pre rekurzívny režim
Syntax: hdfs dfs –lsr
3. Príkaz pre mačky
Príkaz Cat sa používa na zobrazenie obsahu súboru na konzole. Tento príkaz berie cestu súboru hdfs ako argument a zobrazí obsah súboru.
Syntax: hdfs dfs -cat
Príklad: hdfs dfs -cat /user/harsha/empnew.txt
4. Príkaz mkdir
Príkaz mkdir sa používa na vytvorenie nového adresára v systéme súborov hdfs. Berie cestu hdfs ako argument a vytvorí nový adresár v zadanej ceste.
Syntax: hdfs dfs -mkdir
Príklad: hdfs dfs -mkdir / user / example
Na obrázku vyššie je jasne ukázané, že pomocou príkazu mkdir vytvárame nový adresár s názvom „example“ a ten istý sa zobrazuje pomocou príkazu ls.
Tiež pre príkaz mkdir môžeme dať voľbu '-p'. Ak v ceste chýbajú, vytvára nadradené adresáre.
Príklad: hdfs dfs -mkdir -p / user / test / example2
Na obrázku vyššie je celkom zrejmé, že máme voľbu -p a v adresári cesta / užívateľ / test / príklad2 sa vytvoria adresáre testov aj example2.
5. dať príkaz
príkaz dať do HDFS sa používa na kopírovanie súborov z daného zdrojového umiestnenia na cieľovú cestu hdfs. Umiestnenie zdroja tu môže byť cesta k miestnemu systému súborov. Príkaz put má dva argumenty, prvým je cesta zdrojového adresára a druhým je cieľová cesta HDFS
Syntax: hdfs dfs -put
Príklad: hdfs dfs -put /home/harsha/empnew.txt / user / test / example2
Na obrázku vyššie vidíme, že súbor je skopírovaný zo zdroja na miesto určenia.
6. príkaz copyFromLocal
Príkaz copyFromLocal v HDFS sa používa na kopírovanie súborov zo zdrojovej cesty na cieľovú cestu. Zdroj v tomto príkaze je obmedzený na lokálny systém súborov
Syntax: hdfs dfs -copyFromLocal /home/harsha/empnew.txt/user/harsha/example
Rozdiel medzi príkazom put a copyFromLocal Command: Medzi týmito dvoma príkazmi shellu hdfs nie je veľký rozdiel. Obidva sa používajú na kopírovanie z lokálneho systému súborov na zacielenie cesty k súboru HDFS.
Príkaz put je však užitočnejší a robustnejší, pretože umožňuje kopírovať viac súborov alebo adresárov na miesto určenia v HDFS
hdfs dfs -put
7. získať velenie
Príkaz get v hdfs sa používa na kopírovanie daného súboru hdfs alebo adresára na cieľovú cestu k miestnemu systému súborov. Vyžaduje dva argumenty, jeden je cesta zdrojového hdfs a druhý cieľová cesta k miestnemu systému súborov
Syntax: hdfs dfs -get
Príklad: hdfs dfs -get / user / test / example2 / home / harsha
8. príkaz copyToLocal
Príkaz copyToLocal v hdfs sa používa na kopírovanie súboru alebo adresára v hdfs do lokálneho systému súborov. V tomto príkaze je cieľ pevne stanovený v lokálnom systéme súborov. Tento príkaz copyFromLocal je podobný príkazu get.
Syntax: hdfs dfs -copyToLocal
Príklad: hdfs dfs -copyToLocal / user / harsha / example / home / harsha
9. príkaz count
Príkaz count v hdfs sa používa na spočítanie počtu adresárov prítomných v danej ceste. Príkaz count berie danú cestu ako argument a udáva počet adresárov prítomných v tejto ceste.
Syntax: hdfs dfs -count
Príklad: hdfs dfs-account / user
10. príkaz mv
Príkaz mv v hdfs sa používa na presun súboru medzi hdfs. Príkaz mv vezme súbor alebo adresár z danej zdrojovej cesty hdfs a presunie ho na cieľovú cestu hdfs.
Syntax : hdfs dfs -mv
Príklad : hdfs dfs -mv / user / test / example2 / user / harsha
Na obrázku vyššie vidíme, že adresár example2 je teraz v adresári / user / harsha
11. príkaz setrep
Príkaz setrep v hdfs sa používa na zmenu faktora replikácie daného súboru. V predvolenom nastavení má hdfs faktor replikácie '3'. Ak je daná cesta adresárom, tento príkaz zmení replikačný faktor všetkých súborov v danom adresári.
Syntax: hdfs dfs -setrep (-R) (-w)
-w: Tento príznak určuje, že príkaz by mal čakať na dokončenie replikácie.
rep: replikačný faktor
Príklad: hdfs dfs -setrep -w 5 /user/harsha/empnew.txt
12. velenie
Príkaz du v hdfs ukazuje využitie disku pre danú cestu hdfs. Berie cestu hdfs ako vstup a vracia využitie disku v bajtoch.
Syntax : hdfs dfs -du
Príklad: hdfs dfs -du /user/harsha/empnew.txt
13. rm príkaz
Príkaz rm v hdfs sa používa na odstránenie súborov alebo adresárov v danej ceste hdfs. Tento príkaz vezme cestu hdfs ako vstup a odstráni súbory prítomné v tejto ceste.
Syntax : hdfs dfs -rm
Príklad : hdfs dfs -rm / user / harsha / example
Záver - velenie Hadoop FS
Týmto sme sa dozvedeli o rôznych príkazoch hdfs, ich príslušných syntaxach spolu s príkladmi. Mali by sme si všimnúť, že kick start akékoľvek hdfs príkazy, potrebujeme spustiť bin / hdfs skript. Po hdfs nasleduje voľba známa ako dfs, ktorá naznačuje, že pracujeme s distribuovaným súborovým systémom Hadoop. Pomocou vyššie uvedených príkazov môžeme rokovať so súborovým systémom HDFS.
Odporúčané články
Toto je sprievodca príkazom Hadoop FS. Tu uvádzame najčastejšie používané príkazy HDFS. Viac informácií nájdete aj v nasledujúcom článku -
- Hadoop Architecture
- HADOOP Framework
- Nainštalujte program Hadoop
- Hadoop Tools
- Verzia Tableau
- Sprievodca zoznamom príkazov shellu Unix