Les distributions HADOOP
Hadoop – Cloudera / Hortonworks pour développeurs
Reference : HCHPD

Prochaines sessions

Objectifs
- Réaliser une étude en profondeur dans les développements des applications Hadoop 2.0
- Définir et à développer des applications MapReduce(Yarn), Hive et Pig efficaces et pertinentes avec Hadoop 2.0
- Exploiter toute la puissance d’Hadoop 2.0 pour manipulation, analyse et exécution des calculs sur leur cluster Hadoop
Pré requis
- Une expérience dans le développement, si possible avec Java.
- Une connaissance préliminaire d’Hadoop n’est pas exigée
Modalités pédagogiques
Cours dispensé en mode présentiel avec une alternance d’apports théoriques et méthodologiques, et de mises en situations pratiques
Public visé
- Développeurs est destinée aux développeurs qui développeront, maintiendront et optimiseront des applications pour Hadoop.
Inscription
Programmes de Hadoop – Cloudera / Hortonworks pour développeurs
Introduction
- Présentation générale d’Hadoop
- Exemples d’utilisation dans différents secteurs
- Historique et chiffres clés : Quand parle-t-on de Big Data ?
HDFS : interfacage avec Java
- Le système de fichier Hadoop Distributed File System (HDFS)
- Lecture et écriture sur le HDFS
- Manipulation des types de fichier SequenceFile
- Qu’est-ce que le DistributedCache et comment partager les références ?
MapReduce/YARN : principe et développement Java
- Le paradigme MapReduce et l’utilisation à travers YARN
- Implémentation de problématiques réelles avec le paradigme MapReduce
- Implémentation de problématiques plus complexes
- Utilisation des combinateurs et partitionners
- Les bonnes pratiques pour le développement des applications MapReduce
Manipulation des données avec un Query language et Java
- Présentation et fonctionnement de HBase, Hive et PIG
- HBase et Hive : JDBC et requêtes
- Extension du HiveQL avec des fonctionnalités développées : UDF (User-Defined Functions)
- Pig : Développement et intégration avec JAVA
- Extension de PIG avec des fonctionnalités développées : UDF (User-Defined Functions)