Centrale Mathématiques 1 TSI 2017

Ce problème aborde la question de la mesure quantitative de l'information.
La première partie étudie quelques propriétés de la fonction logarithme népérien utiles pour les autres parties du problème.
La deuxième partie vise à construire les fonctions permettant de modéliser l'information contenue dans les événements de probabilité non nulle d'un espace probabilisé. L'information contenue dans un tel événement correspond intuitivement à l'effet de surprise provoqué par la réalisation de cet événement.
La troisième partie aborde la notion d'entropie d'une variable aléatoire discrète à valeurs entières.
La quatrième partie aborde l'entropie d'un couple de variables aléatoires et la notion d'entropie conditionnelle. L'exemple traité dans la cinquième partie établit le lien entre la quantité d'information contenue dans un message aléatoire et le nombre minimal de questions que le récepteur du message doit poser à son émetteur pour pouvoir identifier sans ambiguïté l'une des réalisations de ce message.

I.A - Représenter graphiquement la fonction logarithme népérien.
- Démontrer que, pour tout et que si et seulement si .
- Donner une interprétation graphique de ces deux résultats.
- Montrer que la fonction définie sur par et est continue sur et dérivable sur . Représenter graphiquement la fonction .

Soit ( ) un espace probabilisé fini. On convient de modéliser la quantité d'information contenue dans les événements de probabilité non nulle par une fonction définie par

où vérifie les contraintes suivantes :
i.
ii. est décroissante sur
iii.
iv. est continue sur
II.A - Quelle est la quantité d'information de l'événement certain? Interpréter en terme d'effet de surprise.
II.B - Que peut-on dire de la quantité d'information contenue dans l'événement lorsque et sont indépendants? Interpréter en terme d'effet de surprise.
II. - Donner un exemple de fonction vérifiant les quatre contraintes i, ii, iii et iv.
II. - On se propose de déterminer l'ensemble des fonctions vérifiant ces quatre contraintes.

Soit une telle fonction.
II.D.1) Soit . Établir, à l'aide d'un changement de variable, l'égalité

II.D.2) En déduire que est dérivable sur .
II.D.3) Dans cette question, on fixe . En dérivant par rapport à l'égalité iii, démontrer l'existence d'un réel indépendant de tel que . Préciser la valeur de .
II.D.4) L'égalité étant vraie quel que soit dans , déterminer l'ensemble des fonctions vérifiant les quatre contraintes i, ii, iii et iv.
II.D.5) Montrer que parmi ces fonctions, il en existe une et une seule vérifiant en plus l'égalité .

Cette fonction, notée dans la suite du problème, correspond au choix d'une unité particulière (le logon) pour mesurer la quantité d'information.
Que vaut ? Interpréter ce résultat.
II.D.6) On réalise l'expérience aléatoire consistant à effectuer deux lancers successifs d'un dé équilibré à six faces. On considère les évènements suivants

Ordonner les quantités d'information contenues dans chacun de ces trois événements. Interpréter en terme d'effet de surprise.

III. - Dans cette sous-partie, toutes les variables aléatoires considérées sont définies sur un même univers fini et prennent leurs valeurs dans .
Si est une telle variable, on note . On définit l'entropie de par

en convenant que vaut 0 lorsque .
III.A.1) Interpréter comme une espérance, puis en terme de quantité d'information.
III.A.2) Montrer que et que si et seulement si est une variable aléatoire certaine, c'est-à-dire

a) est une variable aléatoire suivant la loi uniforme sur . Calculer .
b) En appliquant l'inégalité de la question I.B à un nombre réel bien choisi, démontrer que

c) En déduire que avec égalité si et seulement si suit la même loi que (pour le cas d'égalité on pourra utiliser le cas d'égalité de la question I.B). Interpréter ce résultat en terme de quantité moyenne d'information.
III. - Dans cette sous-partie, on s'intéresse à des variables aléatoires discrètes définies sur un espace probabilisé ( ) et prenant leurs valeurs dans . Si est une telle variable pour laquelle est noté , on dit qu'elle est d'entropie finie si la série est absolument convergente et on définit alors son entropie par

en convenant à nouveau que vaut 0 lorsque .
III.B.1) Pour est une variable aléatoire suivant la loi géométrique de paramètre .

Rappeler les valeurs de et de l'espérance de (aucune démonstration n'est demandée).
Démontrer que est d'entropie finie et que .
III.B.2) Dans cette question et la suivante, est une variable aléatoire à valeurs dans d'espérance finie.

On note . On se propose de démontrer que est d'entropie finie.
a) Quelle est la limite de lorsque tend vers ?
b) En déduire que , puis qu'il existe un entier tel que .
c) Soit . Montrer que

c) Démontrer que

d) En déduire que

puis que

On pourra utiliser l'inégalité démontrée dans la question I.B.
Interpréter ce résultat en terme de quantité moyenne d'information.

Dans cette partie, et sont des entiers naturels non nuls. ( ) et ( ) sont deux couples de variables aléatoires discrètes. et sont à valeurs dans et sont à valeurs dans . Pour et , on note et .
On suppose que, pour tout et .

On définit l'entropie du couple ( ) par

On définit l'information entre les couples ( ) et ( ) par

IV.A.1) Rappeler les valeurs de et de et en déduire que

IV.A.2) À l'aide de l'inégalité de la question I.B, établir que , et que l'égalité a lieu si et seulement si les deux couples ( ) et ( ) ont la même loi conjointe.
IV.A.3) On suppose que les deux variables et sont indépendantes, que suit la même loi que et que suit la même loi que .
Démontrer que . Déduire de ce qui précède que

Donner une condition nécessaire et suffisante pour que cette inégalité soit une égalité.
Remarque - L'inégalité (IV.1) a été obtenue en supposant, pour tout et . On admet qu'elle reste vraie même en dehors de cette condition

On définit l'entropie conditionnelle de sachant par .
Elle mesure l'incertitude restant sur la valeur de lorsque la valeur de est connue.
IV.B.1) Montrer que . Interpréter cette inégalité.
IV.B.2) On considère réels compris entre 0 et 1 .
a) Dans cette question, on suppose .

Démontrer que, pour tout .
En déduire l'inégalité

La fonction a été définie dans la partie I .
b) L'inégalité (IV.2) reste-t-elle vraie si ?
c) Montrer que l'inégalité (IV.2) est une égalité si et seulement s'il existe au plus un indice pour lequel .
IV.B.3) Montrer que, pour tout . En déduire que .

Un jeu oppose deux joueurs A et B. Une urne contient 2016 boules indiscernables au toucher numérotées de 0 à 2015. Le joueur A tire une boule au hasard dans l'urne. On note la variable aléatoire égale au numéro de la boule tirée par le joueur A. Le joueur B pose alors au joueur A une série de questions amenant la réponse « oui» ou « non » lui permettant de déterminer sans ambiguïté la valeur prise par . Le but de cette partie est de trouver la valeur minimale de si B procède par dichotomies successives.
- Déterminer l'entropie de .
V. - La première question posée par B est « est-il compris entre 1008 et 2015 ? » La réponse fournie par A lui permet de positionner par rapport 1008. Si la réponse de A est «oui», B posera et cherchera ensuite à positionner par rapport à 1512 . Si la réponse à la première question est «non», B posera et cherchera à positionner par rapport à 504 . Il continue selon le même procédé.
Expliquer pourquoi le joueur B finira par trouver la valeur de . Au bout de combien de questions?
- On se propose de donner une interprétation de ce résultat en terme d'entropie. Les variables aléatoires sont renseignées par les réponses données par A à la première, la deuxième, ..., la -ième question.
On pose . On admet que est une variable aléatoire.
Montrer qu'elle prend ses valeurs dans . On ne cherchera pas la loi de .
- Démontrer que .
On pourra utiliser l'inégalité vue à la question III.A.3.
- Expliquer en langage courant pourquoi . En déduire que .
V. - Montrer que .
- En combien de questions le joueur B est-il certain de pouvoir trouver à coup sûr la valeur de ? Comparer au résultat de la question V.B.