Merci d'avoir envoyé votre demande ! Un membre de notre équipe vous contactera sous peu.
Merci d'avoir envoyé votre réservation ! Un membre de notre équipe vous contactera sous peu.
Plan du cours
Récapitulatif de Apache Airflow Principes fondamentaux
- Concepts de base : DAGs, opérateurs et flux d'exécution
- Architecture et composants de l'Airflow
- Comprendre les cas d'utilisation avancés et les flux de travail
Créer des opérateurs personnalisés
- Comprendre l'anatomie d'un opérateur Airflow
- Développer des opérateurs personnalisés pour des tâches spécifiques
- Tester et déboguer les opérateurs personnalisés
Crochets et capteurs personnalisés
- Implémenter des crochets pour l'intégration de systèmes externes
- Créer des capteurs pour surveiller les déclencheurs externes
- Améliorer l'interactivité du flux de travail avec des capteurs personnalisés
Développer des plugins Airflow
- Comprendre l'architecture des plugins
- Concevoir des plugins pour étendre les fonctionnalités d'Airflow
- Meilleures pratiques pour gérer et déployer les plugins
Intégrer Airflow avec des systèmes externes
- Connecter Airflow à des bases de données, des API et des services cloud
- Utiliser Airflow pour les workflows ETL et le traitement des données en temps réel
- Gérer les dépendances entre Airflow et les systèmes externes
Débogage avancé et monitoring
- Utiliser les logs et les métriques d'Airflow pour le dépannage
- Configurer des alertes et des notifications pour les problèmes de workflow
- Utiliser des outils de surveillance externes avec Airflow
Optimiser les performances et la Scalabilité
- Mise à l'échelle d'Airflow avec Celery et Kubernetes Executors
- Optimiser l'utilisation des ressources dans les workflows complexes
- Stratégies de haute disponibilité et de tolérance aux pannes
Études de cas et applications réelles
- Explorer les cas d'utilisation avancés en ingénierie des données et DevOps
- Étude de cas : Mise en œuvre d'un opérateur personnalisé pour l'ETL à grande échelle
- Meilleures pratiques pour la gestion des flux de travail au niveau de l'entreprise
Résumé et prochaines étapes
Pré requis
- Forte compréhension des bases de Apache Airflow, y compris les DAG, les opérateurs et l'architecture d'exécution.
- Maîtrise de la programmation Python
- Expérience de l'intégration de systèmes de données et de l'orchestration de flux de travail
Audience
- Ingénieurs de données
- Ingénieurs DevOps
- Architectes logiciels
21 Heures