Τα Big Data και το ETL είναι Οικογένεια

Σε αυτό το ιστολόγιο, θα δούμε τη σχέση μεταξύ Big Data και ETL. Το Talend είναι το εργαλείο που χρησιμοποιείται ευρέως για τη σύνδεση Big Data και ETL.



Το Big Data έχει γίνει αρκετά υποθετικό τα τελευταία χρόνια, έτσι ώστε οι εξειδικευμένοι επαγγελματίες που έρχονται με τη γνώση τους. Η μη αξιοποίηση των βασικών δεξιοτήτων σας και η εκκίνηση από το μηδέν δεν είναι πάντα εύκολη δουλειά. Ωστόσο, η αξιοποίηση των τετραγώνων και η προσαρμογή στις ψευτοπαλλικαράδες θα σας κάνει θαύματα. Bingo, μιλάμε για εκμάθηση Big Data χρησιμοποιώντας τεχνολογία ETL.



Οι προγραμματιστές ETL που σχεδιάζουν ροές εργασίας μετασχηματισμού δεδομένων μπορούν πολύ καλά να χρησιμοποιήσουν εργαλεία και να μεταφράσουν τις ροές εργασίας σε εργασίες Hadoop. Το Hadoop είναι ένα πλαίσιο ανοιχτού κώδικα που χρησιμοποιείται εκτενώς για την επεξεργασία του BigData χρησιμοποιώντας το πρόγραμμα MapReduce (το οποίο είναι μια άλλη τεχνολογία ανοιχτού κώδικα που βοηθά στην επεξεργασία μεγάλων ποσοτήτων δεδομένων στο Hadoop). Τις περισσότερες φορές, η εξεύρεση ειδικών πόρων στο Big Data μπορεί να είναι δύσκολη.

εύρεση του μεγαλύτερου αριθμού σε έναν πίνακα java

Εάν ένας προγραμματιστής ETL πρέπει να βρει τις διευθύνσεις IP που έχουν υποβάλει περισσότερα από ένα εκατομμύριο αιτήματα στον ιστότοπο της τράπεζας, πρέπει να γράψει μια εργασία MapReduce η οποία επεξεργάζεται τα δεδομένα καταγραφής ιστού που είναι αποθηκευμένα στο Hadoop . Ωστόσο, με την πρόοδο στην τεχνολογία ETL, ένας προγραμματιστής εργασίας μπορεί να χρησιμοποιήσει τα τυπικά εργαλεία σχεδίασης ETL για να δημιουργήσει μια ροή ETL η οποία μπορεί να διαβάσει δεδομένα από πολλές πηγές στο Hadoop (Files, Hive, HBase), να συμμετάσχει, να συγκεντρώσει, να φιλτράρει και να μετατρέψει τα δεδομένα για να βρείτε μια απάντηση στο ερώτημα στις διευθύνσεις IP.



Το Talend είναι το μόνο εργαλείο γραφικών διεπαφών χρήστη που είναι αρκετά ικανό να «μεταφράσει» μια εργασία ETL σε μια εργασία MapReduce. Έτσι, η εργασία Talend ETL εκτελείται ως εργασία MapReduce στο Hadoop και ολοκληρώνεται η εργασία με τα μεγάλα δεδομένα μέσα σε λίγα λεπτά. Αυτή είναι μια βασική καινοτομία που συμβάλλει στη μείωση των εμποδίων εισόδου στην τεχνολογία Big Data και επιτρέπει στους προγραμματιστές εργασίας ETL (αρχάριοι και προχωρημένοι) να πραγματοποιήσουν εκφόρτωση Data Warehouse σε μεγαλύτερο βαθμό.

Η ζωή στην πόλη Big Data είναι πολύ πιο εύκολη με το Talend

Ένα επίπεδο γραφικών αφαίρεσης στην κορυφή των εφαρμογών Hadoop - αυτό κάνει τη ζωή πολύ πιο εύκολη στον κόσμο των Big Data.



Τι έχει να πει το Talend: «Σύμφωνα με την ιστορία μας ως καινοτόμος και ηγέτης στην ενοποίηση δεδομένων ανοιχτού κώδικα, το Talend είναι ο πρώτος πάροχος που προσφέρει μια καθαρή λύση ανοιχτού κώδικα που επιτρέπει μεγάλη ολοκλήρωση δεδομένων . Το Talend Open Studio for Big Data, με την τοποθέτηση ενός εύχρηστου περιβάλλοντος γραφικής ανάπτυξης πάνω από ισχυρές εφαρμογές Hadoop, κάνει μεγάλη διαχείριση δεδομένων προσβάσιμο σε περισσότερες εταιρείες και περισσότερους προγραμματιστές από ποτέ.

Με το γραφικό χώρο εργασίας που βασίζεται σε έκλειψη, το Talend Open Studio for Big Data επιτρέπει στον προγραμματιστή και στον επιστήμονα δεδομένων να αξιοποιήσει τεχνολογίες φόρτωσης και επεξεργασίας Hadoop όπως HDFS, HBase, Hive και Pig χωρίς να χρειάζεται να γράψει Εφαρμογή Hadoop κώδικας. Επιλέγοντας απλά γραφικά στοιχεία από μια παλέτα, τακτοποιώντας και διαμορφώνοντάς τα, μπορείτε να δημιουργήσετε εργασίες Hadoop. Για παράδειγμα:

  1. Φόρτωση δεδομένων σε HDFS (Hadoop Distributed File System)
  2. Χρήση Χοίρος Hadoop για τη μετατροπή δεδομένων σε HDFS
  3. Φόρτωση δεδομένων σε ένα Κυψέλη Hadoop βασισμένη στην αποθήκη δεδομένων
  4. Εκτελέστε συγκεντρώσεις ELT (απόσπασμα, φόρτωση, μετασχηματισμός) στο Hive
  5. Μόχλευση Κουτάλα για την ενσωμάτωση σχεσιακών βάσεων δεδομένων και Hadoop

Εφαρμογές Hadoop, Ομαλά ενσωματωμένα μέσα σε λίγα λεπτά χρησιμοποιώντας το Talend.

Προκειμένου οι εφαρμογές Hadoop να είναι πραγματικά προσβάσιμες στον οργανισμό σας, πρέπει να ενσωματωθούν ομαλά στις συνολικές ροές δεδομένων σας. Talend Open Studio για Big Data είναι το ιδανικό εργαλείο για την ενσωμάτωση εφαρμογών Hadoop στην ευρύτερη αρχιτεκτονική δεδομένων σας. Το Talend παρέχει περισσότερα ενσωματωμένα στοιχεία σύνδεσης από οποιαδήποτε άλλη διαθέσιμη λύση ενσωμάτωσης δεδομένων, με περισσότερα από 800 βύσματα που διευκολύνουν την ανάγνωση ή την εγγραφή σε οποιαδήποτε σημαντική μορφή αρχείου, βάση δεδομένων ή πακεταρισμένη εταιρική εφαρμογή. Για παράδειγμα, στο Talend Open Studio για Big Data, μπορείτε να χρησιμοποιήσετε στοιχεία μεταφοράς drag-n drop για να δημιουργήσετε ροές ενοποίησης δεδομένων που μεταφέρουν δεδομένα από οριοθετημένα αρχεία καταγραφής στο Hadoop Hive, εκτελούν λειτουργίες στο Hive και εξάγουν δεδομένα από το Hive σε μια βάση δεδομένων MySQL (ή Oracle, Sybase, SQL Server και ούτω καθεξής).

Θέλετε να δείτε πόσο εύκολο μπορεί να είναι η εργασία με αιχμές εφαρμογές Hadoop;

Δεν χρειάζεται να περιμένετε - Το Talend Open Studio for Big Data είναι ένα λογισμικό ανοιχτού κώδικα, δωρεάν για λήψη και χρησιμοποιείται με άδεια Apache.

Συζήτηση στην πόλη

Το Talend ήταν έναΟραματιστής στο Magic Quadrant for Data Integration Toolsαπό το 2009. Πρόσφατα, έχουν επίσης αναδειχθεί ως πρωτοπόροι στην Ποιότητα Δεδομένων και στην περιοχή MDM καθώς και ως συστατικά για να μαγειρέψουν ένα φανταστικό πιάτο Big Data.

Ισχυρίζονται ότι: 'Το Big Data Integration αυξάνει την απόδοση και την επεκτασιμότητα κατά 45% στον οργανισμό σας'.

Μόνο το Talend 5.5 (και υψηλότερο) επιτρέπει στους προγραμματιστές να δημιουργούν κώδικα Hadoop υψηλής απόδοσης χωρίς να χρειάζεται να είναι ειδικός στο MapReduce ή το Pig.

Λίγους μήνες πριν, ένα από το άρθρο του Talend είπε: «Η υιοθέτηση του Hadoop ανεβαίνει στα ύψη και οι εταιρείες μεγάλες και μικρές αγωνίζονται να βρουν αρκετούς γνώστες προγραμματιστές Hadoop για να καλύψουν αυτήν την αυξανόμενη ζήτηση». Μόνο το Talend 5.5 επιτρέπει σε οποιονδήποτε προγραμματιστή ενοποίησης δεδομένων να χρησιμοποιεί ένα περιβάλλον οπτικής ανάπτυξης για τη δημιουργία εγγενών, υψηλών επιδόσεων και εξαιρετικά επεκτάσιμων κωδικών Hadoop. Αυτό ξεκλειδώνει μια μεγάλη ομάδα πόρων ανάπτυξης που μπορούν τώρα να συμβάλουν σε μεγάλα έργα δεδομένων. Επιπλέον, η Talend παραμένει στην αιχμή των νέων εξελίξεων στο Hadoop που επιτρέπουν σε μεγάλα έργα ανάλυσης δεδομένων να ενισχύουν τις αλληλεπιδράσεις των πελατών σε πραγματικό χρόνο.

Το Talend for Big Data μπορεί να βοηθήσει στην κατανόηση των οργανισμών συλλέγοντας σύνολα δεδομένων από ετερογενή συστήματα προέλευσης - όπως τρίτα μέρη, API και ροές κοινωνικής δικτύωσης - και μετατρέποντας αυτά τα δεδομένα σε μια οπτική εικόνα του ταξιδιού από άκρο σε άκρο πελάτη.

Είτε πρόκειται για τραπεζικές εργασίες Βιομηχανία, φαρμακευτικά προϊόντα, ηλεκτρονικό εμπόριο, ασφάλιση - Το Talend μπορεί να ενσωματώσει δεδομένα σε οποιαδήποτε κλίμακα με έναν εύκολο συνδυασμό με το Hadoop που αποδεικνύεται ότι είναι η πιο πρωτοποριακή τεχνολογία για την κάλυψη της ζήτησης του παρόντος και του μέλλοντος.

κωδικός σειράς fibonacci στην Ιάβα

Χρησιμοποιήστε θήκες σε όλο τον κόσμο

Ξεκινώντας από την εκστρατεία μάρκετινγκ έως την εξυπηρέτηση πελατών στον τραπεζικό κλάδο έως τον εντοπισμό απάτης, τα μεγάλα δεδομένα είναι παντού.

Έχοντας περισσότερους από 800+ συνδέσμους μόνο στην έκδοση ανοιχτού κώδικα, ισχυρίζεται ότι είναι οι μεγαλύτερες πλατφόρμες που υποστηρίζονται ευρύτερα για σύνδεση σε οτιδήποτε και μπορεί να πάρει τα πάντα.

Με το μεταβαλλόμενο μοτίβο και ευθυγραμμισμένο με το NoSQL, το Open Source, το Hadoop, η επιλογή εκμάθησης Big Data και στυλ ETL χρησιμοποιώντας το Talend θα ήταν η πιο λογική απόφαση για όποιον ασχολείται με δεδομένα σε οποιαδήποτε μορφή και οποτεδήποτε.

Συνοπτικά, τα εργαλεία ETL απέχουν πολύ από το να είναι παθητικά. Βρίσκονται στο επίκεντρο του οικοσυστήματος Big Data και διαδραματίζουν καθοριστικό ρόλο στην ενεργοποίηση της ανάλυσης δεδομένων.

Αυτός είναι ο λόγος για τον οποίο το Talend λάμπει αναφέροντας το 'Zero to Big Data χωρίς κωδικοποίηση, σε λιγότερο από 10 λεπτά'.

Έχετε μια ερώτηση για εμάς; Αναφέρετέ τα στην ενότητα σχολίων και θα επικοινωνήσουμε μαζί σας.

Σχετικές αναρτήσεις: