Plan du cours

Introduction aux Reinforcement Learning à partir des Retours Humains (RLHF)

  • Qu'est-ce que le RLHF et pourquoi cela importe
  • Comparaison avec les méthodes de fine-tuning supervisé
  • Applications du RLHF dans les systèmes AI modernes

Modélisation des Récompenses avec des Retours Humains

  • Collecte et structuration des retours humains
  • Construction et formation des modèles de récompense
  • Évaluation de l'efficacité des modèles de récompense

Formation avec l'Optimisation de Politique Proche (PPO)

  • Aperçu des algorithmes PPO pour le RLHF
  • Mise en œuvre du PPO avec les modèles de récompense
  • Fine-tuning itératif et sûr des modèles

Applications Pratiques Fine-Tuning des Modèles Linguistiques

  • Préparation des jeux de données pour les workflows RLHF
  • Formation pratique d'un petit LLM en utilisant le RLHF
  • Défis et stratégies de mitigation

Mise à l'échelle du RLHF vers les Systèmes de Production

  • Considérations sur l'infrastructure et la puissance de calcul
  • Assurance qualité et boucles de retour continues
  • Bonnes pratiques pour le déploiement et la maintenance

Considérations Éthiques et Mitigation des Biases

  • Traitement des risques éthiques dans les retours humains
  • Stratégies de détection et de correction des biases
  • Garantie de l'alignement et des sorties sûres

Cas Pratiques et Exemples du Monde Réel

  • Cas pratique : Fine-tuning ChatGPT avec RLHF
  • Autres déploiements réussis de RLHF
  • Leçons apprises et insights industriels

Résumé et Étapes Suivantes

Pré requis

  • Une compréhension des fondamentaux de l'apprentissage supervisé et de renforcement
  • Expérience en fine-tuning de modèles et architectures de réseaux neuronaux
  • Familiarité avec Python programmation et cadres d'apprentissage profond (par exemple, TensorFlow, PyTorch)

Public cible

  • Machine Learning Ingénieurs
  • Chercheurs en IA
 14 Heures

Nombre de participants


Prix ​​par Participant

Cours à venir

Catégories Similaires