Plan du cours

Introduction à l'optimisation des grands modèles

  • Aperçu des architectures de grands modèles
  • Défis liés à la mise au point des grands modèles
  • Importance d'une optimisation rentable

Techniques de formation distribuée

  • Introduction au parallélisme des données et des modèles
  • Cadres pour l'apprentissage distribué : PyTorch et TensorFlow
  • Mise à l'échelle sur plusieurs GPU et nœuds

Quantification et élagage des modèles

  • Comprendre les techniques de quantification
  • Application de l'élagage pour réduire la taille du modèle
  • Compromis entre précision et efficacité

Optimisation du matériel

  • Choisir le bon matériel pour les tâches de réglage fin
  • Optimisation de l'utilisation de GPU et de la TPU
  • Utilisation d'accélérateurs spécialisés pour les modèles de grande taille

Efficacité Data Management

  • Stratégies de gestion des grands ensembles de données
  • Prétraitement et mise en lots pour améliorer les performances
  • Techniques d'augmentation des données

Déploiement de modèles optimisés

  • Techniques de déploiement de modèles finement ajustés
  • Suivi et maintien des performances des modèles
  • Exemples concrets de déploiement de modèles optimisés

Techniques d'optimisation avancées

  • Exploration de l'adaptation de faible rang (LoRA)
  • Utilisation d'adaptateurs pour un réglage fin modulaire
  • Tendances futures en matière d'optimisation de modèles

Résumé et prochaines étapes

Pré requis

  • Expérience avec des frameworks d'apprentissage profond comme PyTorch ou TensorFlow
  • Familiarité avec les grands modèles de langage et leurs applications
  • Compréhension des concepts de calcul distribué

Audience

  • Ingénieurs en apprentissage automatique
  • Spécialistes de l'IA en nuage
 21 Heures

Nombre de participants


Prix ​​par Participant

Cours à venir

Catégories Similaires