Cursusaanbod

Introductie

  • Overzicht van de uitdagingen op het gebied van deep learning-schaling
  • Overzicht van DeepSpeed en zijn functies
  • DeepSpeed in vergelijking met andere gedistribueerde deep learning-bibliotheken

Slag

  • Opzetten van de ontwikkelomgeving
  • PyTorch en DeepSpeed installeren
  • DeepSpeed configureren voor gedistribueerde training

Functies voor DeepSpeed-optimalisatie

  • DeepSpeed training pijplijn
  • ZeRO (geheugen optimalisatie)
  • Activering controlepunt
  • Gradiënt controlepunten
  • Parallellisme van pijpleidingen

Modellen schalen met DeepSpeed

  • Basis schalen met DeepSpeed
  • Geavanceerde schalingstechnieken
  • Prestatieoverwegingen en best practices
  • Technieken voor foutopsporing en probleemoplossing

Geavanceerde DeepSpeed-onderwerpen

  • Geavanceerde optimalisatietechnieken
  • DeepSpeed gebruiken met gemengde precisietraining
  • DeepSpeed op verschillende hardware (bijv. GPUs, TPU's)
  • DeepSpeed met meerdere trainingsknooppunten

DeepSpeed integreren met PyTorch

  • DeepSpeed integreren met PyTorch-workflows
  • DeepSpeed gebruiken met PyTorch Lightning

Probleemoplossing

  • Veelvoorkomende DeepSpeed-problemen debuggen
  • Monitoring en logboekregistratie

Samenvatting en volgende stappen

  • Samenvatting van de belangrijkste concepten en functies
  • Best practices voor het gebruik van DeepSpeed in productie
  • Verdere bronnen voor meer informatie over DeepSpeed

Vereisten

  • Gemiddelde kennis van deep learning-principes
  • Ervaring met PyTorch of vergelijkbare deep learning frameworks
  • Bekendheid met Python programmeren

Audiëntie

  • Datawetenschappers
  • Ingenieurs voor machine learning
  • Ontwikkelaars
 21 Uren

Aantal deelnemers


Prijs Per Deelnemer

Voorlopige Aankomende Cursussen

Gerelateerde categorieën