Merci d'avoir envoyé votre demande ! Un membre de notre équipe vous contactera sous peu.
Merci d'avoir envoyé votre réservation ! Un membre de notre équipe vous contactera sous peu.
Plan du cours
Introduction aux modèles multimodaux
- Aperçu de l'apprentissage automatique multimodal
- Applications des modèles multimodaux
- Défis liés à la gestion de plusieurs types de données
Architectures pour les modèles multimodaux
- Exploration de modèles tels que CLIP, Flamingo et BLIP
- Comprendre les mécanismes d'attention multimodale
- Considérations architecturales pour l'extensibilité et l'efficacité
Préparation des ensembles de données multimodales
- Collecte des données et techniques d'annotation
- Prétraitement du texte, des images et des entrées vidéo
- Équilibrer les ensembles de données pour les tâches multimodales
Techniques de mise au point des modèles multimodaux
- Mise en place de pipelines d'entraînement pour les modèles multimodaux
- Gestion des contraintes de mémoire et de calcul
- Gestion de l'alignement entre les modalités
Applications des modèles multimodaux à réglage fin
- Réponse aux questions visuelles
- Sous-titrage d'images et de vidéos
- Génération de contenu à l'aide d'entrées multimodales
Optimisation et évaluation des performances
- Mesures d'évaluation pour les tâches multimodales
- Optimisation de la latence et du débit pour la production
- Garantir la robustesse et la cohérence entre les modalités
Déploiement de modèles multimodaux
- Emballage des modèles pour le déploiement
- Inférence Scalable sur les plateformes en nuage
- Applications et intégrations en temps réel
Études de cas et laboratoires pratiques
- Ajustement de CLIP pour la recherche d'images basée sur le contenu
- Formation d'un chatbot multimodal avec du texte et de la vidéo
- Mise en œuvre de systèmes de recherche multimodale
Résumé et prochaines étapes
Pré requis
- Maîtrise de la programmation Python
- Compréhension des concepts d'apprentissage profond
- Expérience de l'affinage de modèles pré-entraînés
Audience
- Chercheurs en IA
- Scientifiques des données
- Praticiens de l'apprentissage automatique
28 Heures