Bedankt voor uw aanvraag! Een van onze medewerkers neemt binnenkort contact met u op
Bedankt voor uw boeking! Een van onze medewerkers neemt binnenkort contact met u op.
Cursusaanbod
Samenvatting van Apache Airflow Fundamentals
- Kernconcepten: interne adviesgroepen, operators en uitvoeringsstroom
- Luchtstroomarchitectuur en componenten
- Inzicht in geavanceerde gebruiksscenario's en workflows
Aangepaste operators maken
- Inzicht in de anatomie van een Airflow-operator
- Ontwikkelen van aangepaste operators voor specifieke taken
- Testen en debuggen van aangepaste operators
Aangepaste haken en sensoren
- Implementeren van haken voor externe systeemintegratie
- Sensoren maken voor het bewaken van externe triggers
- Verbetering van de interactiviteit van de workflow met aangepaste sensoren
Airflow-plug-ins ontwikkelen
- Inzicht in de architectuur van de plug-in
- Plug-ins ontwerpen om de Airflow-functionaliteit uit te breiden
- Best practices voor het beheren en implementeren van plug-ins
Integratie van luchtstroom met externe systemen
- Airflow verbinden met databases, API's en cloudservices
- Airflow gebruiken voor ETL-workflows en real-time gegevensverwerking
- Afhankelijkheden beheren tussen Airflow en externe systemen
Geavanceerde foutopsporing en monitoring
- Luchtstroomlogboeken en metrische gegevens gebruiken voor het oplossen van problemen
- Waarschuwingen en meldingen voor workflowproblemen configureren
- Gebruikmaken van externe monitoringtools met Airflow
Prestaties en Scalabiliteit optimaliseren
- Luchtstroom schalen met selderij en Kubernetes uitvoerders
- Optimalisering van het gebruik van resources in complexe workflows
- Strategieën voor hoge beschikbaarheid en fouttolerantie
Casestudy's en toepassingen in de echte wereld
- Verkennen van geavanceerde gebruiksscenario's in data-engineering en DevOps
- Case study: Implementatie van aangepaste operators voor grootschalige ETL
- Best practices voor het beheren van workflows op bedrijfsniveau
Samenvatting en volgende stappen
Vereisten
- Sterk begrip van de basisprincipes van Apache Airflow, waaronder DAG's, operators en uitvoeringsarchitectuur
- Vaardigheid in Python programmeren
- Ervaring met het integreren van datasystemen en workflow orchestration
Audiëntie
- Data-ingenieurs
- DevOps Ingenieurs
- Software architecten
21 Uren