Le temps est un paramètre important dans les problèmes qui concernent les ingénieurs : fiabilité des systèmes, files d'attente, évolution des systèmes biologiques, économiques etc. Il est aussi un élément essentiel du choix de décision "optimal".
Lorsque le système dynamique étudié est aléatoire, la distinction du "passé" (connu) et du futur à "estimer " est à la base de la théorie des processus de Markov et des martingales.

Plusieurs questions naturelles se posent dans la modélisation de ces phénomènes : l'existence de situation d'équilibre, la simulation des phénomènes, l'estimation des paramètres du modèle...

Récemment ces processus ont été utilisés dans la résolution de problèmes déterministes tels que la recherche du minimum d'une fonction et autres algorithmes stochastiques. Le choix optimal de la date de prise de décision ouvre le champ des problèmes de contrôle stochastique et de leurs applications aux Mathématiques financières.

Contenu:

1 -Rappels de théorie de la mesure et de théorie des probabilités.

2 - Espérance conditionnelle. Application au filtre de Kalman-Bucy. Temps d'arrêt et information.

3 - Chaînes de Markov : premières définitions, problème de Dirichlet. Excursions indépendantes.

4 - Loi invariante : existence en espace d'état fini, classification des états, récurrence positive et existence de loi invariante en espace d'état dénombrable.

5 - Théorème ergodique, théorème central limite, convergence des lois marginales. Applications (PageRank de Google, algorithmes stochastiques de Hasting Metropolis, Recuit simulé).

6 - Martingales et temps d'arrêt. Décomposition des surmartingales. Inégalités de Doob. Martingales fermées.

7 - Convergence des martingales. Applications à l'algorithme stochastique de Robins-Monroe. Dynamique des populations et processus de Galton-Watson.

8 - Arrêt optimal. Enveloppe de Snell en horizon fini, puis infini. Problème de la secrétaire. Application à la finance.

9 - Applications en biologie et en mécanique statistique.


Référence bibliographique :

Chaînes de Markov et martingales en temps discrets, Nizar Touzi (2009)

Niveau requis : Bonne connaissance du cours de tronc commun MAP311.

Modalités d'évaluation : Un contrôle classant à la fin du cours. Une évaluation de présence et du travail fourni en Petite Classe.

Dernière mise à jour : lundi 12 mars 2012