Formation numérique
Kafka, ingestion et traitement de messages
Reference : KAITM
1
jours - 1,225 € € HT Télécharger la fiche
Prochaines sessions
Objectifs
- Comprendre le fonctionnement de kafka, acquérir les bonnes pratiques de distribution de messages, savoir configurer kafka pour intégrer les données de différents formats et de sources différentes.
Pré requis
- Connaissance de l’écosystème hadoop et bases de programmation dans un langage objet (java ou scala ou python)
Modalités et délais d’accès
Bulletin d'inscription à retourner complété
Public visé
Pré-inscription
- Chefs de projet, développeurs souhaitant mettre en œuvre kafka pour la distribution de messages
Programmes de Kafka, ingestion et traitement de messages
Introduction
- Le projet Kafka : historique, fonctionnalités, principe de fonctionnement.
Présentation de l’achitecture et du rôle de chaque composant :
broker, producer, consumer
Liaison avec Zookeeper
Mise en oeuvre
- Préconisations d’installation et prérequis
Travaux pratiques:
installation et lancement de zookeeper et du kafka-server,
Création d’un topic simple,
Mise en oeuvre d’une chaîne de base.
Visualisation des messages avec kafka-console-consumer
Multi-broker
- Etude de la configuration du broker
Travaux pratiques :
création d’une configuration multi-broker,
démarrage de plusieurs noeuds
La réplication
- Facteur de réplication
Partitions
Travaux pratiques:
tests de haute disponibilité dans une configuration multi-noeuds
Kafka Connect
- Présentation des fonctionnalités : intégration de données d’origines multiples,
modes de fonctionnement (standalone ou distribué)
Travaux pratiques :
configuration de connecteurs, ingestion de données,
création d’une chaîne de transformation
Kafka Streams
- Les apports de Kafka Streams: applications temps réel et microservices