[wpms_breadcrumb reverse="0"]
Formation numérique

Kafka, ingestion et traitement de messages

Reference : KAITM

1

jours - 1,225 € € HT Télécharger la fiche
Prochaines sessions
    Kafka, ingestion et traitement de messages
    Objectifs

    • Comprendre le fonctionnement de kafka, acquérir les bonnes pratiques de distribution de messages, savoir configurer kafka pour intégrer les données de différents formats et de sources différentes.

    Pré requis

    • Connaissance de l’écosystème hadoop et bases de programmation dans un langage objet (java ou scala ou python)

    Modalités et délais d’accès

    Bulletin d'inscription à retourner complété

    Public visé
    • Chefs de projet, développeurs souhaitant mettre en œuvre kafka pour la distribution de messages
    Pré-inscription

    Programmes de Kafka, ingestion et traitement de messages

    Introduction

    • Le projet Kafka : historique, fonctionnalités, principe de fonctionnement.
      Présentation de l’achitecture et du rôle de chaque composant :
      broker, producer, consumer
      Liaison avec Zookeeper

    Mise en oeuvre

    • Préconisations d’installation et prérequis
      Travaux pratiques:
      installation et lancement de zookeeper et du kafka-server,
      Création d’un topic simple,
      Mise en oeuvre d’une chaîne de base.
      Visualisation des messages avec kafka-console-consumer

    Multi-broker

    • Etude de la configuration du broker
      Travaux pratiques :
      création d’une configuration multi-broker,
      démarrage de plusieurs noeuds

    La réplication

    • Facteur de réplication
      Partitions
      Travaux pratiques:
      tests de haute disponibilité dans une configuration multi-noeuds

    Kafka Connect

    • Présentation des fonctionnalités : intégration de données d’origines multiples,
      modes de fonctionnement (standalone ou distribué)
      Travaux pratiques :
      configuration de connecteurs, ingestion de données,
      création d’une chaîne de transformation

    Kafka Streams

    • Les apports de Kafka Streams: applications temps réel et microservices