La théorie de l'information répond à des questions diverses qui se posent par exemple dans les communications numériques quand on cherche à transmettre les messages de la façon à la fois la plus économique et la plus sûre.
Dans ce contexte, on peut se poser la question de déterminer le taux de compression ultime que l'on peut espérer ou le débit maximal avec lequel on peut transmettre de manière fiable sur un canal bruité.
Claude Shannon a donné une réponse magique à ces questions en proposant une manière de quantifier l'information d'un message et en montrant que le taux de compression ou que le débit de transmission maximal pouvaient tous deux s'exprimer en fonction de cette quantité d'information justement. Il a aussi proposé des techniques de compression ou de codage correcteur d'erreur (qui n'étaient absolument pas pratiques...) pour atteindre les limites mentionnées plus haut.
Nous expliquerons tout cela dans ce cours et nous verrons les réponses modernes à ces questions qui permettent elles d'atteindre de manière efficace les limites posées par Shannon.

Dernière mise à jour : lundi 23 mai 2011