Εντολές HDFS: Εντολές Hadoop Shell για διαχείριση HDFS

Αυτό το ιστολόγιο μιλά για τις διάφορες εντολές HDFS όπως fsck, copyFromLocal, expunge, cat κ.λπ. που χρησιμοποιούνται για τη διαχείριση του συστήματος αρχείων Hadoop.

Εντολές HDFS

Σε μου προηγούμενα ιστολόγια Έχω ήδη συζητήσει τι είναι το HDFS, τα χαρακτηριστικά του και την αρχιτεκτονική του. Το πρώτο βήμα προς το ταξίδι προς εκτελεί εντολές HDFS και διερευνά τον τρόπο λειτουργίας του HDFS. Σε αυτό το blog, θα μιλήσω για τις εντολές HDFS χρησιμοποιώντας τις οποίες μπορείτε να αποκτήσετε πρόσβαση στο Hadoop File System.



Λοιπόν, επιτρέψτε μου να σας πω τις σημαντικές εντολές HDFS και τη λειτουργία τους που χρησιμοποιούνται συχνότερα όταν εργάζεστε με το Hadoop File System.



  • fsck

Εντολή HDFS για έλεγχο της υγείας του συστήματος αρχείων Hadoop.

Εντολή: hdfs fsck /



HDFS Filesystem Health - Εντολές HDFS - Edureka

  • είναι

Εντολή HDFS για εμφάνιση της λίστας αρχείων και καταλόγων σε HDFS.

Εντολή: hdfsdfs –Ls /



  • mkdir

Εντολή HDFS για τη δημιουργία του καταλόγου σε HDFS.

Χρήση: hdfs dfs –mkdir / directory_name

Εντολή: hdfs dfs –mkdir / new_edureka

Σημείωση: Εδώ προσπαθούμε να δημιουργήσουμε έναν κατάλογο με το όνομα 'new_edureka' σε HDFS.

  • αφή

Εντολή HDFS για δημιουργία αρχείου σε HDFS με μέγεθος αρχείου 0 byte.

Χρήση: hdfs dfs –touchz / κατάλογος / όνομα αρχείου

Εντολή: hdfs dfs –touchz / new_edureka / δείγμα

ποια είναι τα φίλτρα περιβάλλοντος στον πίνακα

Σημείωση: Εδώ προσπαθούμε να δημιουργήσουμε ένα αρχείο με το όνομα 'sample' στον κατάλογο 'new_edureka' των hdfs με μέγεθος αρχείου 0 byte.

  • του

Εντολή HDFS για έλεγχο του μεγέθους του αρχείου.

Χρήση: hdfs dfs –du –s / κατάλογος / όνομα αρχείου

Εντολή: hdfs dfs –du –s / new_edureka / δείγμα

  • Γάτα

Εντολή HDFS που διαβάζει ένα αρχείο σε HDFS και εκτυπώνει το περιεχόμενο αυτού του αρχείου στην τυπική έξοδο.

Χρήση: hdfs dfs –cat / path / to / file_in_hdfs

Εντολή: hdfs dfs –cat / new_edureka / δοκιμή

  • κείμενο

Εντολή HDFS που λαμβάνει ένα αρχείο προέλευσης και εξάγει το αρχείο σε μορφή κειμένου.

Χρήση: hdfs dfs - κείμενο / κατάλογος / όνομα αρχείου

Εντολή: hdfs dfs –xtxt / new_edureka / δοκιμή

  • copyFromLocal

Εντολή HDFS για αντιγραφή του αρχείου από ένα τοπικό σύστημα αρχείων σε HDFS.

Χρήση: hdfs dfs -copyFromLocal

Εντολή: hdfs dfs –copyFromLocal / home / edureka / test / new_edureka

Σημείωση: Εδώ το τεστ είναι το αρχείο που υπάρχει στον τοπικό κατάλογο / home / edureka και μετά την εκτέλεση της εντολής το αρχείο δοκιμής θα αντιγραφεί στον κατάλογο / new_edureka του HDFS.

  • copyToLocal

Εντολή HDFS για αντιγραφή του αρχείου από το HDFS στο τοπικό σύστημα αρχείων.

Χρήση: hdfs dfs -copyToLocal

Εντολή: hdfs dfs –copyToLocal / new_edureka / test / home / edureka

Σημείωση: Εδώ το τεστ είναι ένα αρχείο που υπάρχει στον κατάλογο new_edureka του HDFS και μετά την εκτέλεση της εντολής, το δοκιμαστικό αρχείο θα αντιγραφεί στον τοπικό κατάλογο / home / edureka

  • βάζω

Εντολή HDFS για αντιγραφή μίας ή πολλαπλών πηγών από το τοπικό σύστημα αρχείων στο σύστημα αρχείων προορισμού.

Χρήση: hdfs dfs - είσοδος

Εντολή: hdfs dfs –put / home / edureka / test / χρήστης

Σημείωση: Η εντολή copyFromLocal είναι παρόμοια με την εντολή put, εκτός από το ότι η πηγή περιορίζεται σε μια τοπική αναφορά αρχείου.

  • παίρνω

Εντολή HDFS για αντιγραφή αρχείων από hdfs στο τοπικό σύστημα αρχείων.

Χρήση: hdfs dfs -get

Εντολή: hdfs dfs –get / user / test / home / edureka

Σημείωση: Η εντολή copyToLocal είναι παρόμοια με την εντολή get, εκτός από το ότι ο προορισμός περιορίζεται σε μια τοπική αναφορά αρχείου.

  • μετρώ

Εντολή HDFS για μέτρηση του αριθμού καταλόγων, αρχείων και byte κάτω από τις διαδρομές που ταιριάζουν με το καθορισμένο μοτίβο αρχείων.

Χρήση: hdfsdfs -count

Εντολή: hdfs dfs –count / χρήστης

  • rm

Εντολή HDFS για κατάργηση του αρχείου από το HDFS.

Χρήση: hdfs dfs –rm

Εντολή: hdfs dfs –rm / new_edureka / δοκιμή

  • rm -r

Εντολή HDFS για κατάργηση ολόκληρου του καταλόγου και όλου του περιεχομένου του από HDFS.

Χρήση: hdfs dfs -rm -r

Εντολή: hdfs dfs -rm -r / new_edureka

  • cp

Εντολή HDFS για αντιγραφή αρχείων από πηγή σε προορισμό. Αυτή η εντολή επιτρέπει επίσης πολλές πηγές, οπότε ο προορισμός πρέπει να είναι κατάλογος.

Χρήση: hdfs dfs -cp

Εντολή: hdfs dfs -cp / user / hadoop / file1 / user / hadoop / file2

Εντολή: hdfs dfs -cp / user / hadoop / file1 / user / hadoop / file2 / user / hadoop / dir

  • mv

Εντολή HDFS για μετακίνηση αρχείων από πηγή σε προορισμό. Αυτή η εντολή επιτρέπει επίσης πολλές πηγές, οπότε ο προορισμός πρέπει να είναι κατάλογος.

Χρήση: hdfs dfs -mv

Εντολή: hdfs dfs -mv / user / hadoop / file1 / user / hadoop / file2

  • απαλείφω

Εντολή HDFS που καθιστά τον κάδο άδειο.

Εντολή: hdfsdfs-απαλείφω

  • rmdir

Εντολή HDFS για κατάργηση του καταλόγου.

Χρήση: hdfs dfs -rmdir

τι είναι εκτύπωση σε python

Εντολή: hdfs dfs –rmdir / user / hadoop

  • χρήση

Εντολή HDFS που επιστρέφει τη βοήθεια για μια μεμονωμένη εντολή.

Χρήση: hdfs dfs - χρήση

Εντολή: hdfs dfs -usage mkdir

Σημείωση: Χρησιμοποιώντας την εντολή χρήσης μπορείτε να λάβετε πληροφορίες σχετικά με οποιαδήποτε εντολή.

  • βοήθεια

Εντολή HDFS που εμφανίζει βοήθεια για δεδομένη εντολή ή όλες τις εντολές εάν δεν έχει καθοριστεί καμία.

Εντολή: hdfs dfs - βοήθεια

Αυτό είναι το τέλος του ιστολογίου HDFS Commands, ελπίζω ότι ήταν ενημερωτικό και θα μπορούσατε να εκτελέσετε όλες τις εντολές. Για περισσότερες εντολές HDFS, μπορείτε να ανατρέξετε στο Apache Hadoopτεκμηρίωση εδώ.

Τώρα που έχετε εκτελέσει τις παραπάνω εντολές HDFS, δείτε το από την Edureka, μια αξιόπιστη διαδικτυακή εταιρεία εκμάθησης με δίκτυο περισσότερων από 250.000 ικανοποιημένων μαθητών σε όλο τον κόσμο. Το εκπαιδευτικό πρόγραμμα Edureka Big Data Hadoop Certification βοηθά τους μαθητές να γίνουν ειδικοί σε HDFS, Νήματα, MapReduce, Pig, Hive, HBase, Oozie, Flume και Sqoop χρησιμοποιώντας περιπτώσεις χρήσης σε πραγματικό χρόνο σε τομείς λιανικής, κοινωνικής δικτύωσης, αεροπορίας, τουρισμού, χρηματοδότησης.

Έχετε μια ερώτηση για εμάς; Παρακαλώ αναφέρετέ το στην ενότητα σχολίων και θα επικοινωνήσουμε μαζί σας.