Hadoop, το όνομα του προκύπτει από τα αρχικά (High-availability distributed object-oriented platform) και είναι ένα open source framework του Apache Foundation. Δημιουργήθηκε για να υποστηρίζει τη λειτουργία εφαρμογών σε μεγάλα cluster από συμβατικό hardware. To Hadoop προήλθε από MapReduce της Google και το Google File System (GFS).
Δημιουργήθηκε από τους Doug Cutting και Mike Cafarella το 2005, που εργαζόντουσαν στην Yahoo εκείνη την περίοδο.
Χρησιμοποιείται για μεγάλου όγκου δεδομένα, για επιχειρησιακή ευφυΐα και στατιστικές αναλύσεις.
Υπάρχουν πληθώρα από Map Reduce Frameworks σε πολλές γλώσσες.
- Java με το cascading και το crunch
- Clojure με το cascalog
- Scala με το scrunch, scalding, scoobi,
- Ruby με το wukong, cascading
- PHP με το HadooPHP
- PYTHON με το map reduce job, dumbo, hadoopy, luigi
- R με το RHadoop
Τέλος να πούμε ότι έχουν δημιουργηθεί και δύο Scripting Languages Hive και Pig
Η ανάγκη για γρήγορες και αξιόπιστες αναλύσεις από πολύ μεγάλα dataset είναι από τα πιο hot θέματα και πραγματικά αξίζει να συμμετάσχετε.
Εισηγητές Dr. Ioannis Konstantinou Senior Researcher
