Formation Python, Spark, and Hadoop for Big Data

Ce cours s'adresse aux développeurs et aux scientifiques des données qui souhaitent comprendre et mettre en œuvre l'IA dans leurs applications. Une attention particulière est accordée à l'analyse des données, à l'IA distribuée et au traitement du langage naturel.

Cette formation en direct avec instructeur en Belgique (en ligne ou sur site) s'adresse aux data scientists et ingénieurs de niveau intermédiaire qui souhaitent utiliser Google Colab et Apache Spark pour le traitement et l'analyse des big data.

A l'issue de cette formation, les participants seront capables de :

• Mettre en place un environnement big data en utilisant Google Colab et Spark.
• Traiter et analyser efficacement de grands ensembles de données avec Apache Spark.
• Visualiser les big data dans un environnement collaboratif.
• Intégrer Apache Spark avec des outils basés sur le cloud.

L'analyse de données volumineuses implique l'examen de grandes quantités d'ensembles de données variés afin de découvrir des corrélations, des modèles cachés et d'autres informations utiles.

L'industrie de la santé dispose de quantités massives de données médicales et cliniques hétérogènes complexes. L'application de l'analyse de données volumineuses sur les données de santé présente un potentiel énorme pour la compréhension de l'amélioration de la prestation des soins de santé. Cependant, l'énormité de ces ensembles de données pose de grands défis pour les analyses et les applications pratiques dans un environnement clinique.

Au cours de cette formation en direct animée par un instructeur (à distance), les participants apprendront à effectuer des analyses de données volumineuses dans le domaine de la santé tout en effectuant une série d'exercices pratiques en laboratoire.

À la fin de cette formation, les participants seront en mesure de:

• Installer et configurer des outils d'analyse de données volumineuses tels que Hadoop MapReduce et Spark
• Comprendre les caractéristiques des données médicales
• Appliquer des techniques Big Data pour traiter des données médicales
• Etudiez les systèmes de données volumineuses et les algorithmes dans le contexte d'applications de santé

Public

• Développeurs
• Data Scientists

Format du cours

• Partie lecture, partie discussion, exercices et exercices intensifs.

Remarque

• Pour demander une formation personnalisée pour ce cours, veuillez nous contacter pour organiser cela.

Au cours de cette formation en direct à Belgique, les participants découvriront les offres technologiques et les approches de mise en œuvre pour le traitement des données graphiques. L'objectif est d'identifier les objets du monde réel, leurs caractéristiques et leurs relations, puis de modéliser ces relations et de les traiter en tant que données à l'aide d'une approche Graph Computing (également connue sous le nom de Graph Analytics). Nous commençons par une vue d'ensemble et nous nous concentrons sur des outils spécifiques à travers une série d'études de cas, d'exercices pratiques et de déploiements en direct.

A la fin de cette formation, les participants seront capables de :

• Comprendre comment les données graphiques sont persistées et parcourues.
• Sélectionner le meilleur framework pour une tâche donnée (des bases de données de graphes aux frameworks de traitement par lots).
• Mettre en œuvre Hadoop, Spark, GraphX et Pregel pour effectuer des calculs de graphes sur de nombreuses machines en parallèle.
• Voir les problèmes de big data du monde réel en termes de graphes, de processus et de traversées.

Cette formation en direct avec instructeur (en ligne ou sur site) s'adresse aux administrateurs système qui souhaitent apprendre à mettre en place, déployer et gérer des clusters Hadoop au sein de leur organisation.

A l'issue de cette formation, les participants seront capables de :

• Installer et configurer Apache Hadoop.
• Comprendre les quatre composants majeurs de l'écosystème Hadoop : HDFS, MapReduce, YARN et Hadoop Common.
• Utiliser le système de fichiers distribués Hadoop (HDFS) pour faire évoluer un cluster vers des centaines ou des milliers de nœuds. 
• Configurer HDFS comme moteur de stockage pour les déploiements Spark sur site.
• Configurer Spark pour accéder à des solutions de stockage alternatives telles qu'Amazon S3 et des systèmes de base de données NoSQL tels que Redis, Elasticsearch, Couchbase, Aerospike, etc.
• Exécuter des tâches administratives telles que le provisionnement, la gestion, la surveillance et la sécurisation d'un cluster Apache Hadoop.

Cette formation en direct à Belgique (en ligne ou sur site) présente Hortonworks Data Platform (HDP) et accompagne les participants dans le déploiement de la solution Spark + Hadoop.

A l'issue de cette formation, les participants seront capables de :

• Utiliser Hortonworks pour exécuter de manière fiable Hadoop à grande échelle.
• Unifier les capacités de sécurité, de gouvernance et d'exploitation de Hadoop avec les flux de travail analytiques agiles de Spark.
• Utiliser Hortonworks pour étudier, valider, certifier et prendre en charge chacun des composants d'un projet Spark.
• Traiter différents types de données, notamment structurées, non structurées, en mouvement et au repos.

Ce cours explique comment utiliser le SQL Hive SQL (AKA: Hive HQL, SQL sur Hive , Hive QL) pour les personnes qui extraient des données à partir de Hive

Cloudera Impala est un moteur de requête open source de traitement massivement parallèle (MPP) SQL pour les clusters Apache Hadoop.

Cloudera Impala permet aux utilisateurs d'émettre des requêtes à faible latence SQL sur des données stockées dans Hadoop Distributed File System et Apache Hbase sans avoir à déplacer ou à transformer les données.

Public

Ce cours s'adresse aux analystes et aux scientifiques des données qui effectuent des analyses sur des données stockées dans Hadoop via des outils Business Intelligence ou SQL.

À l'issue de cette formation, les participants seront en mesure de

• Extraire des informations significatives des clusters Hadoop avec Impala.
• Écrire des programmes spécifiques pour faciliter Business Intelligence dans Impala SQL Dialecte.
• Dépanner Impala.

Dans cette formation dirigée par un instructeur en <loc&gt ; (sur site ou à distance), les participants apprendront comment configurer et intégrer différents Stream Processing frameworks avec des systèmes de stockage de big data existants et des applications logicielles et microservices connexes.

A l'issue de cette formation, les participants seront capables de :

• Installer et configurer différents Stream Processing frameworks, tels que Spark Streaming et Kafka Streaming.
• Comprendre et sélectionner le framework le plus approprié pour le travail à effectuer.
• Traiter des données en continu, de manière concurrente et enregistrement par enregistrement.
• Intégrer les solutions Stream Processing aux bases de données existantes, aux entrepôts de données, aux lacs de données, etc.
• Intégrer la bibliothèque de traitement de flux la plus appropriée avec les applications d'entreprise et les microservices.

Cette formation en direct avec instructeur (en ligne ou sur site) s'adresse aux data scientists qui souhaitent utiliser la pile SMACK pour construire des plateformes de traitement de données pour des solutions big data.

A l'issue de cette formation, les participants seront capables de :

• Mettre en place une architecture de pipeline de données pour le traitement des big data.
• Développer une infrastructure de cluster avec Apache Mesos et Docker.
• Analyser les données avec Spark et Scala.
• Gérer les données non structurées avec Apache Cassandra.

Cette formation en direct (en ligne ou sur site) s'adresse aux ingénieurs qui souhaitent mettre en place et déployer un système Apache Spark de traitement de très grandes quantités de données.

A l'issue de cette formation, les participants seront capables de :

• Installer et configurer Apache Spark.
• Traiter et analyser rapidement de très grands ensembles de données.
• Comprendre la différence entre Apache Spark et Hadoop MapReduce et savoir quand utiliser l'un ou l'autre.
• Intégrer Apache Spark avec d'autres outils d'apprentissage automatique.

Cette formation en direct avec instructeur à Belgique (en ligne ou sur site) s'adresse aux administrateurs système de niveau débutant à intermédiaire qui souhaitent déployer, maintenir et optimiser les clusters Spark.

A l'issue de cette formation, les participants seront capables de :

• Installer et configurer Apache Spark dans différents environnements.
• Gérer les ressources du cluster et surveiller les applications Spark.
• Optimiser les performances des clusters Spark.
• Mettre en place des mesures de sécurité et assurer la haute disponibilité.
• Déboguer et résoudre les problèmes courants liés à Spark.

Au cours de cette formation en direct avec instructeur à Belgique, les participants apprendront à utiliser Python et Spark ensemble pour analyser les données volumineuses (big data) en travaillant sur des exercices pratiques.

A la fin de cette formation, les participants seront capables de :

• Apprendre à utiliser Spark avec Python pour analyser Big Data.
• Travailler sur des exercices qui imitent des cas réels.
• Utiliser différents outils et techniques pour l'analyse des big data en utilisant PySpark.

MLlib est la bibliothèque d'apprentissage automatique (ML) de Spark. Son objectif est de rendre l'apprentissage pratique pratique évolutif et facile. Il comprend des algorithmes et des utilitaires d'apprentissage courants, notamment la classification, la régression, la mise en cluster, le filtrage collaboratif, la réduction de la dimensionnalité, ainsi que des primitives d'optimisation de niveau inférieur et des API de pipeline de niveau supérieur.

Il se divise en deux paquets:

• spark.mllib contient l'API d'origine construite sur les RDD.

• spark.ml fournit des API de niveau supérieur construites à partir de DataFrames pour la construction de pipelines ML.

Public

Ce cours s’adresse aux ingénieurs et aux développeurs qui souhaitent utiliser une bibliothèque de machines intégrée à Apache Spark