Cursusaanbod

Samenvatting van Apache Airflow Fundamentals

  • Kernconcepten: interne adviesgroepen, operators en uitvoeringsstroom
  • Luchtstroomarchitectuur en componenten
  • Inzicht in geavanceerde gebruiksscenario's en workflows

Aangepaste operators maken

  • Inzicht in de anatomie van een Airflow-operator
  • Ontwikkelen van aangepaste operators voor specifieke taken
  • Testen en debuggen van aangepaste operators

Aangepaste haken en sensoren

  • Implementeren van haken voor externe systeemintegratie
  • Sensoren maken voor het bewaken van externe triggers
  • Verbetering van de interactiviteit van de workflow met aangepaste sensoren

Airflow-plug-ins ontwikkelen

  • Inzicht in de architectuur van de plug-in
  • Plug-ins ontwerpen om de Airflow-functionaliteit uit te breiden
  • Best practices voor het beheren en implementeren van plug-ins

Integratie van luchtstroom met externe systemen

  • Airflow verbinden met databases, API's en cloudservices
  • Airflow gebruiken voor ETL-workflows en real-time gegevensverwerking
  • Afhankelijkheden beheren tussen Airflow en externe systemen

Geavanceerde foutopsporing en monitoring

  • Luchtstroomlogboeken en metrische gegevens gebruiken voor het oplossen van problemen
  • Waarschuwingen en meldingen voor workflowproblemen configureren
  • Gebruikmaken van externe monitoringtools met Airflow

Prestaties en Scalabiliteit optimaliseren

  • Luchtstroom schalen met selderij en Kubernetes uitvoerders
  • Optimalisering van het gebruik van resources in complexe workflows
  • Strategieën voor hoge beschikbaarheid en fouttolerantie

Casestudy's en toepassingen in de echte wereld

  • Verkennen van geavanceerde gebruiksscenario's in data-engineering en DevOps
  • Case study: Implementatie van aangepaste operators voor grootschalige ETL
  • Best practices voor het beheren van workflows op bedrijfsniveau

Samenvatting en volgende stappen

Vereisten

  • Sterk begrip van de basisprincipes van Apache Airflow, waaronder DAG's, operators en uitvoeringsarchitectuur
  • Vaardigheid in Python programmeren
  • Ervaring met het integreren van datasystemen en workflow orchestration

Audiëntie

  • Data-ingenieurs
  • DevOps Ingenieurs
  • Software architecten
 21 Uren

Aantal deelnemers


Prijs Per Deelnemer

Voorlopige Aankomende Cursussen

Gerelateerde categorieën