Plan du cours

Récapitulatif de Apache Airflow Principes fondamentaux

  • Concepts de base : DAGs, opérateurs et flux d'exécution
  • Architecture et composants de l'Airflow
  • Comprendre les cas d'utilisation avancés et les flux de travail

Créer des opérateurs personnalisés

  • Comprendre l'anatomie d'un opérateur Airflow
  • Développer des opérateurs personnalisés pour des tâches spécifiques
  • Tester et déboguer les opérateurs personnalisés

Crochets et capteurs personnalisés

  • Implémenter des crochets pour l'intégration de systèmes externes
  • Créer des capteurs pour surveiller les déclencheurs externes
  • Améliorer l'interactivité du flux de travail avec des capteurs personnalisés

Développer des plugins Airflow

  • Comprendre l'architecture des plugins
  • Concevoir des plugins pour étendre les fonctionnalités d'Airflow
  • Meilleures pratiques pour gérer et déployer les plugins

Intégrer Airflow avec des systèmes externes

  • Connecter Airflow à des bases de données, des API et des services cloud
  • Utiliser Airflow pour les workflows ETL et le traitement des données en temps réel
  • Gérer les dépendances entre Airflow et les systèmes externes

Débogage avancé et monitoring

  • Utiliser les logs et les métriques d'Airflow pour le dépannage
  • Configurer des alertes et des notifications pour les problèmes de workflow
  • Utiliser des outils de surveillance externes avec Airflow

Optimiser les performances et la Scalabilité

  • Mise à l'échelle d'Airflow avec Celery et Kubernetes Executors
  • Optimiser l'utilisation des ressources dans les workflows complexes
  • Stratégies de haute disponibilité et de tolérance aux pannes

Études de cas et applications réelles

  • Explorer les cas d'utilisation avancés en ingénierie des données et DevOps
  • Étude de cas : Mise en œuvre d'un opérateur personnalisé pour l'ETL à grande échelle
  • Meilleures pratiques pour la gestion des flux de travail au niveau de l'entreprise

Résumé et prochaines étapes

Pré requis

  • Forte compréhension des bases de Apache Airflow, y compris les DAG, les opérateurs et l'architecture d'exécution.
  • Maîtrise de la programmation Python
  • Expérience de l'intégration de systèmes de données et de l'orchestration de flux de travail

Audience

  • Ingénieurs de données
  • Ingénieurs DevOps
  • Architectes logiciels
 21 Heures

Nombre de participants


Prix ​​par Participant

Cours à venir

Catégories Similaires