[wpms_breadcrumb reverse="0"]
Big Data - Les fondamentaux

Big Data – Architecture et technologies

Reference : BD03

2

jours
- 1 230 €  € HT
Télécharger la fiche
Prochaines sessions
    Big Data – Architecture et technologies
    Objectifs

    • comprendre les concepts du BigData et savoir quelles sont les technologies implémentées.

    Pré requis

    • une bonne culture générale sur les systèmes d’information.

    Modalités et délais d’accès

    Bulletin d'inscription à retourner complété

    Pré-inscription

    Programmes de Big Data – Architecture et technologies

    INTRODUCTION

    • Le besoin : volumes importants de données, traitements optimisés de flux de données au fil de l’eau, liés aux nouvelles technologies et aux nouveaux usages
    • Domaines concernés : recherche scientifique, médical, e-commerce, sécurité, …
    • Développement des techniques sur différents aspects : stockage, indexation/recherche, calcul
    • Définition ETL : Extract Transform Load
    • Les acteurs

    STOCKAGE

    • Caractéristiques NoSQL : Structure de données proches des utilisateurs, développeurs
    • Données structurées et non structurées, documents, images, fichiers XML, JSON, CSV, …
    • Les différents modes et formats de stockage.
    • Stockage réparti : réplication, sharping, gossip protocl, hachage
    • Systèmes de fichiers distribués : GFS, HDFS, BigTable, …
    • Les bases de données
    • Quelques exemples de produits et leurs caractéritiques : cassandra, MongoDB, CouchDB,DynamoDB

    INDEXION ET RECHERCHE

    • Moteurs de recherche
    • Principe de fonctionnement
    • Méthodes d’indexation
    • Exemple de Lucene, et mise en œuvre avec solr
    • Recherche dans les bases de volumes importants : exemples de produits et comparaison : dremel, drill, elasticsearch, MapReduce

    CALCUL ET RESTITUTION, INTEGRATION

    • Différentes solutions : calculs en mode batch, ou en temps réel, sur des flux de données ou des données statiques
    • Les produits : langage de calculs statistiques, R Statistics Language
    • Outils de calcul sur des volumes importants : storm en temps réel, hadoop en mode batch
    • Zoom sur Hadoop : complémentarité de HDMS et MapReduce

    EVOLUTIONS

    • Les offres Saas BigData comme Google BigQuery
    • Les limites. Les nouveautés annoncées