Spark Streaming with Python and Kafka Training Cursus

Deze door een instructeur geleide, live training in België (op locatie of op afstand) is gericht op ontwikkelaars die Apache Kafka willen integreren met bestaande databases en applicaties voor verwerking, analyse, enz.

Aan het einde van deze training kunnen deelnemers:

• Gebruik Kafka Connect om grote hoeveelheden gegevens uit een database op te nemen in Kafka-onderwerpen.
• Neem loggegevens op die zijn gegenereerd door applicatieservers in Kafka-onderwerpen.
• Maak alle verzamelde gegevens beschikbaar voor streamverwerking.
• Exporteer gegevens uit Kafka-onderwerpen naar secundaire systemen voor opslag en analyse.

Deze instructeur-geleide, live training (ter plaatse of op afstand) is gericht op ingenieurs die Confluent (een distributie van Kafka) willen gebruiken om een realtime gegevensverwerkingsplatform voor hun toepassingen te bouwen en te beheren.

Aan het einde van deze training kunnen deelnemers:

• Installeer en configureer Confluent Platform.
• Gebruik de beheertools en -services van Confluent om Kafka gemakkelijker uit te voeren.
• Bewaar en verwerk inkomende stroomgegevens.
• Optimaliseer en beheer Kafka-clusters.
• Veilige datastromen.

Indeling van de cursus

• Interactieve lezing en discussie.
• Veel oefeningen en oefenen.
• Praktische implementatie in een live-labomgeving.

Opties voor cursusaanpassing

• Deze cursus is gebaseerd op de open source-versie van Confluent: Confluent Open Source.
• Neem contact met ons op om een aangepaste training voor deze cursus aan te vragen.

Apache Kafka is een verspreid streamingplatform. Het is de facto een standaard voor het bouwen van gegevenspijpleidingen en lost veel verschillende use-cases op rond gegevensverwerking: het kan worden gebruikt als berichtenwachtrij, gedistribueerd logboek, streamprocessor, enz.

We beginnen met wat theorie achter datapijplijnen in het algemeen en gaan dan verder met fundamentele concepten achter Kafka. We zullen ook belangrijke componenten ontdekken zoals Kafka Streams en Kafka Connect.

In deze door een instructeur geleide, live training in België (op locatie of op afstand), leren deelnemers hoe ze verschillende Stream Processing raamwerken kunnen opzetten en integreren met bestaande big data-opslagsystemen en gerelateerde softwareapplicaties en microservices.

Aan het einde van deze training kunnen deelnemers:

• Installeer en configureer verschillende Stream Processing frameworks, zoals Spark Streaming en Kafka Streaming.
• Begrijp en selecteer het meest geschikte raamwerk voor de taak.
• Verwerken van gegevens continu, gelijktijdig en record voor record.
• Integreer Stream Processing oplossingen met bestaande databases, datawarehouses, datameren, enz.
• Integreer de meest geschikte bibliotheek voor streamverwerking met bedrijfsapplicaties en microservices.

Deze cursus is bedoeld voor enterprise-architecten, ontwikkelaars, systeembeheerders en iedereen die een gedistribueerd berichtensysteem met hoge doorvoer wil begrijpen en gebruiken. Als u meer specifieke vereisten heeft (bijvoorbeeld alleen systeembeheer), kan deze cursus worden aangepast om beter aan uw behoeften te voldoen.

Deze door een instructeur geleide, live training in België (op locatie of op afstand) is gericht op systeembeheerders die een Kafka-cluster op ondernemingsniveau willen opzetten, implementeren, beheren en optimaliseren.

Aan het einde van deze training kunnen deelnemers:

• Opzetten en beheren van een Kafka Cluster.
• Evalueer de voor- en nadelen van de implementatie van Kafka op locatie versus in de cloud.
• Implementeer en monitor Kafka met behulp van verschillende on-premise en cloud-omgevingstools.

Deze door een instructeur geleide, live training (op locatie of op afstand) is gericht op ontwikkelaars van gemiddeld niveau die big data-applicaties willen ontwikkelen met Apache Kafka.

Aan het einde van deze training kunnen deelnemers:

Ontwikkel Kafka-producenten en -consumenten om gegevens van Kafka te verzenden en te lezen. Integreer Kafka met externe systemen met behulp van Kafka Connect. Schrijf streaming-applicaties met Kafka Streams & ksqlDB. Integreer een Kafka-clienttoepassing met Confluent Cloud voor cloudgebaseerde Kafka-implementaties. Doe praktische ervaring op door praktische oefeningen en praktijkvoorbeelden.

Deze live training onder leiding van een instructeur in België (online of ter plaatse) is bedoeld voor data-engineers, datawetenschappers en programmeurs die Apache Kafka functies willen gebruiken in datastreaming met Python.

Aan het einde van deze training kunnen deelnemers Apache Kafka gebruiken om de omstandigheden in continue gegevensstromen te bewaken en te beheren met behulp van Python programmering.

Deze live training onder leiding van een instructeur in België (online of onsite) is bedoeld voor ontwikkelaars op intermediate niveau Java die Apache Kafka in hun toepassingen willen integreren voor betrouwbare, schaalbare en hoogdoorlatende messaging.

Aan het einde van deze training zijn de deelnemers in staat om:

• De architectuur en kerncomponenten van Kafka te begrijpen.
• Een Kafka-cluster op te zetten en te configureren.
• Berichten te produceren en te consumeren met behulp van Java.
• Kafka Streams te implementeren voor realtime dataverwerking.
• Zorg te dragen voor fouttolerantie en schaalbaarheid in Kafka-toepassingen.

Deze live training onder leiding van een instructeur in België (online of op locatie) is bedoeld voor systeembeheerders op gemiddeld niveau die Kafka's message queuing-functies effectief willen benutten.

Aan het einde van deze training zijn de deelnemers in staat om:

• Begrijp Kafka's mogelijkheden en architectuur voor message queuing.
• Configureer Kafka-onderwerpen voor scenario's voor message queuing.
• Produceer en consumeer berichten met behulp van Kafka.
• Bewaak en beheer Kafka als een berichtenwachtrij.

Deze instructeur-geleide, live training in België (op locatie of op afstand) is gericht op softwaretesters die netwerkbeveiligingsmaatregelen willen implementeren in een Apache Kafka applicatie.

Aan het einde van deze training kunnen deelnemers:

• Implementeer Apache Kafka op een cloudgebaseerde server.
• Implementeer SSL-codering om aanvallen te voorkomen.
• Voeg ACL-authenticatie toe om gebruikerstoegang te volgen en te controleren.
• Zorg ervoor dat geloofwaardige klanten toegang hebben tot Kafka-clusters met SSL- en SASL-authenticatie.

Deze door een instructeur geleide, live training (op locatie of op afstand) is gericht op ontwikkelaars van gemiddeld niveau die de basisprincipes van Kafka willen leren en deze willen integreren met Spring Boot.

Aan het einde van deze training kunnen deelnemers:

• Kafka en de architectuur begrijpen.
• Leer hoe je een basis-Kafka-omgeving kunt installeren, configureren en opzetten.
• Integreer Kafka met Spring Boot.

Kafka Streams is een client-side bibliotheek voor het bouwen van applicaties en microservices waarvan de gegevens worden doorgegeven aan en van een Kafka-berichtensysteem. Traditioneel vertrouwde Apache Kafka op Apache Spark of Apache Storm om gegevens tussen berichtproducenten en consumenten te verwerken. Door de Kafka Streams API vanuit een applicatie aan te roepen, kunnen gegevens direct in Kafka worden verwerkt, waardoor de noodzaak om de gegevens naar een afzonderlijk cluster te sturen voor verwerking wordt omzeild.

In deze live training onder leiding van een instructeur leren deelnemers hoe ze Kafka Streams kunnen integreren in een reeks voorbeeld Java applicaties die gegevens van en naar Apache Kafka doorgeven voor stroomverwerking.

Aan het einde van deze training kunnen deelnemers:

• Begrijp de functies en voordelen van Kafka Streams ten opzichte van andere frameworks voor stroomverwerking
• Process stream gegevens rechtstreeks binnen een Kafka-cluster
• Schrijf een Java of Scala applicatie of microservice die kan worden geïntegreerd met Kafka en Kafka Streams
• Schrijf beknopte code die invoer Kafka-onderwerpen omzet in uitvoer Kafka-onderwerpen
• Bouw, verpak en implementeer de applicatie

Publiek

• ontwikkelaars

Formaat van de cursus

• Deelcollege, deelbespreking, oefeningen en zware praktijkoefeningen

Notes

• Neem contact met ons op om een aangepaste training voor deze cursus aan te vragen

Deze door een instructeur geleide, live training in België (online of op locatie) is bedoeld voor systeembeheerders van beginners tot gemiddeld niveau die willen leren hoe ze Kafka-onderwerpen effectief kunnen beheren voor efficiënte gegevensstreaming en -verwerking.

Aan het einde van deze training zijn de deelnemers in staat om:

• Begrijp de basisprincipes en architectuur van Kafka-onderwerpen.
• Maak, configureer en beheer Kafka-onderwerpen.
• Bewaak Kafka-onderwerpen op gezondheid, prestaties en beschikbaarheid.
• Implementeer beveiligingsmaatregelen voor Kafka-onderwerpen.

Deze live training onder leiding van een instructeur in België (online of ter plaatse) is bedoeld voor ontwikkelaars die Apache Kafka streamverwerking willen implementeren zonder code te schrijven.

Aan het einde van deze training zijn de deelnemers in staat om:

• Installeer en configureer Confluent KSQL.
• Stel een stroomverwerkingspijplijn in met alleen SQL opdrachten (geen Java of Python codering).
• Voer gegevensfiltering, transformaties, aggregaties, joins, windowing en sessionization volledig uit in SQL.
• Ontwerp en implementeer interactieve, continue query's voor streaming ETL en realtime analyses.