Plan du cours

Introduction aux modèles multimodaux

  • Aperçu de l'apprentissage automatique multimodal
  • Applications des modèles multimodaux
  • Défis liés à la gestion de plusieurs types de données

Architectures pour les modèles multimodaux

  • Exploration de modèles tels que CLIP, Flamingo et BLIP
  • Comprendre les mécanismes d'attention multimodale
  • Considérations architecturales pour l'extensibilité et l'efficacité

Préparation des ensembles de données multimodales

  • Collecte des données et techniques d'annotation
  • Prétraitement du texte, des images et des entrées vidéo
  • Équilibrer les ensembles de données pour les tâches multimodales

Techniques de mise au point des modèles multimodaux

  • Mise en place de pipelines d'entraînement pour les modèles multimodaux
  • Gestion des contraintes de mémoire et de calcul
  • Gestion de l'alignement entre les modalités

Applications des modèles multimodaux à réglage fin

  • Réponse aux questions visuelles
  • Sous-titrage d'images et de vidéos
  • Génération de contenu à l'aide d'entrées multimodales

Optimisation et évaluation des performances

  • Mesures d'évaluation pour les tâches multimodales
  • Optimisation de la latence et du débit pour la production
  • Garantir la robustesse et la cohérence entre les modalités

Déploiement de modèles multimodaux

  • Emballage des modèles pour le déploiement
  • Inférence Scalable sur les plateformes en nuage
  • Applications et intégrations en temps réel

Études de cas et laboratoires pratiques

  • Ajustement de CLIP pour la recherche d'images basée sur le contenu
  • Formation d'un chatbot multimodal avec du texte et de la vidéo
  • Mise en œuvre de systèmes de recherche multimodale

Résumé et prochaines étapes

Pré requis

  • Maîtrise de la programmation Python
  • Compréhension des concepts d'apprentissage profond
  • Expérience de l'affinage de modèles pré-entraînés

Audience

  • Chercheurs en IA
  • Scientifiques des données
  • Praticiens de l'apprentissage automatique
 28 Heures

Nombre de participants


Prix ​​par Participant

Cours à venir

Catégories Similaires