Plan du cours
Introduction à Apache Iceberg
- Présentation d'Apache Iceberg
- Revue des concepts de base
Plongée dans l'architecture d'Iceberg
- Analyse approfondie du format de table d'Iceberg
- Vue d'ensemble détaillée de l'architecture, y compris les métadonnées et la disposition des fichiers
- Les aspects internes de l'évolution des schémas et des partitions
Installation et configuration avancées
- Configuration d'Iceberg pour des performances optimales dans différents environnements
- Intégration avec différents moteurs de traitement de données
- Configuration avancée : sécurité, cryptage et contrôles d'accès
- Installation d'Iceberg dans un environnement distribué
Opérations et maintenance avancées
- Gestion de tables Iceberg à grande échelle
- Implémentation et gestion de changements de schémas complexes
- Gérer l'évolution des partitions et le partitionnement caché
- Opérations CRUD avancées avec des changements de schémas et de partitions
Techniques d'optimisation des requêtes
- Techniques de réduction de la latence des requêtes
- Élagage des partitions et des fichiers
- Stratégies de mise en cache et d'optimisation des métadonnées
- Mise en œuvre et test des techniques d'optimisation des requêtes
Optimisation des performances pour les grands ensembles de données
- Optimisation des performances pour les grands ensembles de données
- Utilisation des fonctions intégrées d'Iceberg pour l'optimisation des performances
- Études de cas sur l'optimisation des performances dans des scénarios réels
- Optimisation des performances pour les grands ensembles de données
Migration et intégration de données avancées
- Migration de structures de données complexes à partir d'autres systèmes
- Intégration d'Iceberg avec des flux de données en temps réel
- Migration d'ensembles de données complexes et intégration de flux de données en temps réel
Fiabilité et cohérence
- Assurer la cohérence et l'intégrité des données dans des environnements distribués
- Mise en œuvre et gestion des garanties transactionnelles
- Gérer les défaillances et les mécanismes de récupération
- Mise en œuvre des fonctionnalités de fiabilité et de cohérence
Fonctionnalités avancées et personnalisation
- Implémentations de catalogues personnalisés
- Extension d'Iceberg avec des fonctionnalités personnalisées
- Implémentation d'un catalogue personnalisé et extension des fonctionnalités d'Iceberg
Gouvernance des données et conformité
- Mise en œuvre de politiques de gouvernance des données
- Conformité avec les réglementations sur les données
- Gestion des pistes d'audit et de l'historique des données
- Mise en œuvre des fonctionnalités de gouvernance et de conformité
Résumé et prochaines étapes
Pré requis
- Familiarité avec les concepts fondamentaux, les opérations de base et la gestion de la table Iceberg
Public
- Ingénieurs de données
- Architectes de données
- Analystes de données
- Développeurs de logiciels
Nos clients témoignent (3)
Le formateur maîtrisait bien les concepts
Josheel - Verizon Connect
Formation - Amazon Redshift
Traduction automatique
fonctions analytiques
khusboo dassani - Tech Northwest Skillnet
Formation - SQL Advanced
Traduction automatique
comment le formateur démontre ses connaissances dans le sujet qu'il enseigne
john ernesto ii fernandez - Philippine AXA Life Insurance Corporation
Formation - Data Vault: Building a Scalable Data Warehouse
Traduction automatique