Merci d'avoir envoyé votre demande ! Un membre de notre équipe vous contactera sous peu.
Merci d'avoir envoyé votre réservation ! Un membre de notre équipe vous contactera sous peu.
Plan du cours
Révision de Apache Airflow Principes de base
- Concepts de base : DAGs, tâches et opérateurs
- Architecture et composants du flux d'air
- Récapitulatif des cas d'utilisation courants et des flux de travail
Optimiser les performances des flux de travail
- Identifier les goulots d'étranglement dans les pipelines Airflow
- Techniques d'optimisation au niveau des tâches
- Exploiter les tentatives de tâches, le parallélisme et la concurrence
Gestion des dépendances complexes
- Définir des dépendances dynamiques dans les workflows
- Gérer les flux de travail conditionnels et à embranchements
- Utiliser efficacement les groupes de tâches et les sous-DAG
Fonctionnalités avancées dans Apache Airflow
- Création d'opérateurs et de crochets personnalisés
- Mise en œuvre de capteurs pour les déclencheurs externes
- Intégration de services et de plugins tiers
Mise à l'échelle Apache Airflow des déploiements
- Approches de mise à l'échelle horizontale et verticale
- Utilisation de Celery Executors pour l'exécution distribuée
- Meilleures pratiques pour la mise à l'échelle dans les environnements en nuage
Surveillance et débogage des flux de travail
- Configuration de la journalisation et des alertes pour la surveillance des workflows
- Utilisation de l'interface utilisateur Airflow et du CLI pour le dépannage
- Identifier et résoudre les problèmes courants dans les déploiements Airflow
Sécurisation Apache Airflow
- Authentification et contrôle d'accès dans Airflow
- Protéger les données sensibles et les configurations de l'environnement
- Implémenter des pistes d'audit pour les workflows
Entreprise Use Case et meilleures pratiques
- Concevoir des workflows robustes pour les environnements de production
- Exploiter Airflow pour l'ingénierie des données et les pipelines ETL
- Explorer des études de cas réels de déploiements évolutifs d'Airflow
Résumé et prochaines étapes
Pré requis
- Connaissances de base en Apache Airflow
- Familiarité avec les concepts de programmation Python et d'orchestration de flux de travail
- Expérience de la gestion et du déploiement d'applications dans des environnements Linux.
Audience
- Ingénieurs en données
- Professionnels du DevOps.
- Développeurs de logiciels
21 Heures