Cours
Cours 8 : échantillonnage et MCMC
Contenu du cours
- Rejection Sampling : Cet algorithme classique permet d'échantillonner des distributions complexes. Comme son nom l'indique, certains échantillons sont rejetés. Si le taux de rejet reste limité, c'est un bon algorithme d'échantillonnage, sinon sa convergence peut s'avérer extrêmement fastidieuse.
- Metropolis-Hastings : Afin de pallier le problème du taux de rejet de rejection sampling, on peut utiliser des techniques dites de Monte Carlo Markov Chain (MCMC), qui permettent d'obtenir bien plus rapidement des échantillons selon des lois très complexes. Le cours dérive de manière intuitive les formules de Metropolis-Hastings.
- Gibbs : L'échantillonneur de Gibbs est un cas particulier de Metropolis-Hastings, qui simplifie beaucoup les formules. Il présente de surcroît l'avantage de ne jamais rejeter un seul échantillon. C'est un algorithme ultra classique et extrêmement utilisé en pratique.
Le poly du cours : cours8.pdf
Quelques exemples abordés en cours
- modèles d'Ising
- tracking vidéo par filtrage particulaire
- des vidéos montrant la constitution des échantillons par les différents algorithmes sont présentés en cours
- échantillonnage de distributions (de grandes dimensions) décrites par des réseaux bayésiens
TD
Recueil de TD : cf semaine 1 (poly complet)
TME
Sujet de TME de l'année: 2020_tme8.ipynb
Sujet de TME de l'année (le même que ci-dessus avec pas mal de commentaires supplémentaires pour faciliter les premières questions): 2020_tme8_v12.ipynb
Ancien énoncé de TME, très ludique mais malheureusement peu centré sur l'échantillonnage : TME8
Bibliographie
- Siddhartha Chib and Edward Greenberg (1995) "Understanding the Metropolis–Hastings Algorithm". American Statistician, vol. 49, N°4, pp. 327–335
- George Casella and Christian Robert (2009) "Introducing Monte Carlo Methods with R", Springer Verlag
- John Kerl, The Metropolis-Hastings algorithm by example