Bedankt voor uw aanvraag! Een van onze medewerkers neemt binnenkort contact met u op
Bedankt voor uw boeking! Een van onze medewerkers neemt binnenkort contact met u op.
Cursusaanbod
Inleiding tot Large Language Models (LLMs)
- Overzicht van LLM's
- Definitie en betekenis
- Toepassingen in AI vandaag de dag
Transformer Architectuur
- Wat is een transformator en hoe werkt het?
- Belangrijkste onderdelen en kenmerken
- Inbedding en positionele codering
- Meerkoppige aandacht
- Feed-forward neuraal netwerk
- Normalisatie en restverbindingen
Transformator Modellen
- Mechanisme voor zelfaandacht
- Encoder-decoder architectuur
- Positionele inbeddingen
- BERT (Bidirectionele Encoder Representaties van Transformers)
- GPT (generatieve voorgetrainde transformator)
Prestatie-optimalisatie en valkuilen
- Lengte van de context
- Mamba- en toestandsruimtemodellen
- Flits aandacht
- Schaarse transformatoren
- Visie transformatoren
- Belang van kwantisatie
Transformers verbeteren
- Ophalen van verbeterde tekstgeneratie
- Mix van modellen
- Boom van gedachten
Fine-tuning
- Theorie van aanpassing van lage rang
- Finetunen met QLora
Schaalwetten en optimalisatie in LLM's
- Belang van schaalwetten voor LLM's
- Schalen van gegevens en modelgrootte
- Computationele schaling
- Schaalbaarheid van parameterefficiëntie
Optimalisering
- Relatie tussen modelgrootte, gegevensgrootte, rekenbudget en deductievereisten
- Optimalisering van de prestaties en efficiëntie van LLM's
- Best practices en tools voor het trainen en verfijnen van LLM's
Training en fine-tuning LLM's
- Stappen en uitdagingen bij het helemaal opnieuw trainen van LLM's
- Data-acquisitie en -onderhoud
- Grootschalige gegevens-, CPU- en geheugenvereisten
- Uitdagingen op het gebied van optimalisatie
- Landschap van open-source LLM's
Grondbeginselen van Reinforcement Learning (RL)
- Inleiding tot Reinforcement Learning
- Leren door positieve bekrachtiging
- Definitie en kernbegrippen
- Markov-besluitvormingsproces (MDP)
- Dynamisch programmeren
- Monte Carlo-methoden
- Leren van temporeel verschil
Diep Reinforcement Learning
- Diepe Q-netwerken (DQN)
- Optimalisatie van proximaal beleid (PPO)
- Elements van Reinforcement Learning
Integratie van LLM's en Reinforcement Learning
- LLM's combineren met Reinforcement Learning
- Hoe RL wordt gebruikt in LLM's
- Reinforcement Learning met menselijke feedback (RLHF)
- Alternatieven voor RLHF
Casestudy's en toepassingen
- Toepassingen in de echte wereld
- Succesverhalen en uitdagingen
Geavanceerde onderwerpen
- Geavanceerde technieken
- Geavanceerde optimalisatiemethoden
- Baanbrekend onderzoek en ontwikkelingen
Samenvatting en volgende stappen
Vereisten
- Basiskennis van Machine Learning
Audiëntie
- Datawetenschappers
- Software-ingenieurs
21 Uren
