Plan du cours

Révision de Apache Airflow Principes de base

  • Concepts de base : DAGs, tâches et opérateurs
  • Architecture et composants du flux d'air
  • Récapitulatif des cas d'utilisation courants et des flux de travail

Optimiser les performances des flux de travail

  • Identifier les goulots d'étranglement dans les pipelines Airflow
  • Techniques d'optimisation au niveau des tâches
  • Exploiter les tentatives de tâches, le parallélisme et la concurrence

Gestion des dépendances complexes

  • Définir des dépendances dynamiques dans les workflows
  • Gérer les flux de travail conditionnels et à embranchements
  • Utiliser efficacement les groupes de tâches et les sous-DAG

Fonctionnalités avancées dans Apache Airflow

  • Création d'opérateurs et de crochets personnalisés
  • Mise en œuvre de capteurs pour les déclencheurs externes
  • Intégration de services et de plugins tiers

Mise à l'échelle Apache Airflow des déploiements

  • Approches de mise à l'échelle horizontale et verticale
  • Utilisation de Celery Executors pour l'exécution distribuée
  • Meilleures pratiques pour la mise à l'échelle dans les environnements en nuage

Surveillance et débogage des flux de travail

  • Configuration de la journalisation et des alertes pour la surveillance des workflows
  • Utilisation de l'interface utilisateur Airflow et du CLI pour le dépannage
  • Identifier et résoudre les problèmes courants dans les déploiements Airflow

Sécurisation Apache Airflow

  • Authentification et contrôle d'accès dans Airflow
  • Protéger les données sensibles et les configurations de l'environnement
  • Implémenter des pistes d'audit pour les workflows

Entreprise Use Case et meilleures pratiques

  • Concevoir des workflows robustes pour les environnements de production
  • Exploiter Airflow pour l'ingénierie des données et les pipelines ETL
  • Explorer des études de cas réels de déploiements évolutifs d'Airflow

Résumé et prochaines étapes

Pré requis

  • Connaissances de base en Apache Airflow
  • Familiarité avec les concepts de programmation Python et d'orchestration de flux de travail
  • Expérience de la gestion et du déploiement d'applications dans des environnements Linux.

Audience

  • Ingénieurs en données
  • Professionnels du DevOps.
  • Développeurs de logiciels
 21 Heures

Nombre de participants


Prix ​​par Participant

Cours à venir

Catégories Similaires