Livret pédagogique numérique 2023/2024
| 784-1 | Optimisation stochastique pour l'apprentissage | Informatique (formation initiale sous statut étudiant) | S9 | ||||||
|---|---|---|---|---|---|---|---|---|---|
| Cours : 14 h | TD : 8 h | TP : 8 h | Projet : 0 h | Total : 30 h | |||||
| Responsable : Jalal Fadili | |||||||||
| Pré-requis | |
|---|---|
| Analyse, algèbre, Mathématiques pour l'informatique, optimisation. | |
| Objectifs de l'enseignement | |
| L'optimisation stochastique est au coeur des algorithmes d'apprentissage automatique. La descente de gradient stochastique en est l'exemple le plus populaire. Ce cours donne les outils théoriques et pratiques de l'opimisation stochastique moderne et de ses déclinsaions en apprentissage automatique à grande échelle. | |
| Programme détaillé | |
| 1. Introduction. 2. Classes de fonctions. 3. Rappels du cas deterministe: descente de gradient et sa version accélérée. 4. Algorithmes d'approximation stochastique (à la Robbins-Monro). 5. Descente de gradient stochastique à pas évanescent. 6. Descente de gradient stochastique pour les sommes finies. end{itemize} |
|
| Applications (TD ou TP) | |
| Apprentissage machine, apprentissage profonds, réseaux de neurones. | |
| Compétences acquises | |
| Formaliser et modéliser un problème à l’aide d’outils mathématiques. Trouver une information pertinente dans la littérature scientifique et technique puis l’évaluer et l'exploiter. |
|
| Bibliographie | |
| A. Griewank and A. Walther, Evaluating Derivatives: Principles and Techniques of Algorithmic Differentiation, 2nd ed., SIAM, Philadelphia, 2008. B. T. Polyak, Introduction to optimization, Optimization Software, 1987. M. Duflo. Algorithmes stochastiques. Springer-Verlag, 1996. A.S. Nemirovsky, D.B. Yudin, Problem complexity and method efficiency in optimization, John Wiley and Sons, 1983. Y. Nesterov, Introductory lectures on convex optimization: A basic course, volume 87 of Applied Optimization. Kluwer, 2004. |
© 2024 - ENSICAEN ( Mentions Légales - Crédits )