Big Data - Les fondamentaux
Big Data – Architecture et technologies
Reference : BD03
2
jours - 1 230 € € HT Télécharger la fiche
Prochaines sessions
Objectifs
- comprendre les concepts du BigData et savoir quelles sont les technologies implémentées.
Pré requis
- une bonne culture générale sur les systèmes d’information.
Modalités et délais d’accès
Pré-inscription
Bulletin d'inscription à retourner complété
Programmes de Big Data – Architecture et technologies
INTRODUCTION
- Le besoin : volumes importants de données, traitements optimisés de flux de données au fil de l’eau, liés aux nouvelles technologies et aux nouveaux usages
- Domaines concernés : recherche scientifique, médical, e-commerce, sécurité, …
- Développement des techniques sur différents aspects : stockage, indexation/recherche, calcul
- Définition ETL : Extract Transform Load
- Les acteurs
STOCKAGE
- Caractéristiques NoSQL : Structure de données proches des utilisateurs, développeurs
- Données structurées et non structurées, documents, images, fichiers XML, JSON, CSV, …
- Les différents modes et formats de stockage.
- Stockage réparti : réplication, sharping, gossip protocl, hachage
- Systèmes de fichiers distribués : GFS, HDFS, BigTable, …
- Les bases de données
- Quelques exemples de produits et leurs caractéritiques : cassandra, MongoDB, CouchDB,DynamoDB
INDEXION ET RECHERCHE
- Moteurs de recherche
- Principe de fonctionnement
- Méthodes d’indexation
- Exemple de Lucene, et mise en œuvre avec solr
- Recherche dans les bases de volumes importants : exemples de produits et comparaison : dremel, drill, elasticsearch, MapReduce
CALCUL ET RESTITUTION, INTEGRATION
- Différentes solutions : calculs en mode batch, ou en temps réel, sur des flux de données ou des données statiques
- Les produits : langage de calculs statistiques, R Statistics Language
- Outils de calcul sur des volumes importants : storm en temps réel, hadoop en mode batch
- Zoom sur Hadoop : complémentarité de HDMS et MapReduce
EVOLUTIONS
- Les offres Saas BigData comme Google BigQuery
- Les limites. Les nouveautés annoncées