Lundi 6 mai 2019, de 8 h. à 12 h.

La présentation, la lisibilité, l'orthographe, la qualité de la rédaction, la clarté et la précision des raisonnements entreront pour une part importante dans l'appréciation des copies.
Les candidats sont invités à encadrer dans la mesure du possible les résultats de leurs calculs.
Aucun document n'est autorisé. L'utilisation de toute calculatrice et de tout matériel électronique est interdite. Seule l'utilisation d'une règle graduée est autorisée.
Si au cours de l'épreuve, un candidat repère ce qui lui semble être une erreur d'énoncé, il la signalera sur sa copie et poursuivra sa composition en expliquant les raisons des initiatives qu'il sera amené à prendre.

Un modèle probabiliste d'une expérience aléatoire représente dans un certain sens le désordre qui intervient dans l'expérience et il est donc naturel que des outils soient introduits qui permettent de mesurer l'intensité de ce désordre. C'est le cas de la notion d'entropie qui fait l' objet du présent problème. On considèrera différentes situations et notamment la façon dont on mesure l'information que deux variables aléatoires s'apportent mutuellement.
Dans la première partie on étudie le cas plus simple techniquement de variables dont la loi admet une densité. Les deuxièmes et troisièmes parties sont consacrées au cas discret. Dans la deuxième partie, on introduit les différentes notions d'entropie pour le cas de variables discrètes et dans la troisième partie, on examine comment on peut mesurer l'information apportée mutuellement par deux variables aléatoires.
Toutes les variables aléatoires intervenant dans le problème sont définies sur un espace probabilisé ( ). Pour toute variable aléatoire , on notera son espérance lorsqu'elle existe.

Montrer que .
3) Soit une variable aléatoire de densité de support , intervalle de d'extrémités et . On suppose que admet une entropie différentielle.
(a) Soit un réel, et soit la variable aléatoire définie par .
i) Déterminer une densité de .
ii) Justifier l'existence de l'entropie différentielle , et la déterminer en fonction de .
(b) Soit un réel strictement positif, et soit la variable aléatoire définie par .
i) Déterminer une densité de .
ii) Justifier l'existence de l'entropie différentielle , et la déterminer en fonction de .
4) On détermine dans cette question l'entropie différentielle de quelques variables aléatoires suivant des lois classiques.
(a) Soit . On considère une variable aléatoire de loi uniforme sur .
i) Donner une densité de .
ii) Justifier l'existence de l'entropie différentielle , et la déterminer.
iii) Déterminer une condition nécessaire et suffisante sur a pour que .
(b) On considère une variable aléatoire de loi normale centrée réduite. Montrer que admet une entropie différentielle et que .
(c) On considère une variable aléatoire de loi exponentielle de paramètre . Justifier l'existence de l'entropie différentielle et la déterminer.
(d) Soit la fonction définie sur par .
i) Montrer que est une densité de probabilité sur .
ii) Soit une variable aléatoire de densité . Justifier l'existence de l'entropie différentielle et la déterminer.
5) On dit qu'un couple de variables aléatoires est un couple gaussien centré si, pour tout , est une variable de loi normale centrée, c'est-à-dire qu'il existe et une variable aléatoire de loi normale centrée réduite tels que a même loi que . On considère un tel couple ( ) et on note la variance de . On suppose que .
(a) Montrer que suit une loi normale centrée.
(b) Calculer .
(c) On suppose désormais que et suivent la même loi normale centrée de variance et on admet que les propriétés de l'espérance des variables discrètes se généralisent aux variables aléatoires quelconques.
i) Montrer que existe.
ii) Montrer de plus que pour tout réel .
iii) En déduire que .
iv) On pose . Montrer que .
v) Que vaut si et sont indépendantes?
(d) On suppose . On appelle entropie jointe du couple ( ) le réel

i) A quelle condition est-elle nulle?
ii) L' information mutuelle de et est définie par

Calculer .
iii) Montrer que .
iv) Quelle est la limite de quand tend vers 1 ?

Soit un ensemble fini non vide. On dit que est une variable aléatoire dont la loi est à support , si est à valeurs dans et si pour tout .
6) Soit une variable aléatoire de loi à support où est un entier naturel. On appelle entropie de le réel

(a) On définit la fonction en posant pour élément de . Montrer que .
(b) Montrer que .
(c) Soit un réel tel que . On suppose dans cette question que suit la loi de Bernoulli .
i) Calculer en fonction de . On note la fonction qui, à , associe .
ii) Montrer que est concave sur .
iii) Déterminer la valeur où est maximale.
(d) On suppose dans cette question que la loi de est à support avec les probabilités

Calculer .
7) On souhaite écrire une fonction en Scilab pour calculer l'entropie d'une variable aléatoire dont le support de la loi est de la forme où est un entier naturel. On suppose que le vecteur P de Scilab est tel que pour tout de . Compléter la fonction ci-dessous d'argument P qui renvoie l'entropie de , c'est-à-dire .

function h = Entropie(P)
    ...
endfunction

Si nécessaire, on pourra utiliser l'instruction length qui donne le nombre d'éléments de P .
On souhaite maintenant démontrer quelques inégalités concernant l'entropie.
8) On commence par une inégalité générale, appelée Inégalité de Jensen.
(a) Soit . Soit une variable aléatoire de loi à support où les sont des éléments distincts de . On pose . Montrer que pour tout , on a .

On désire démontrer par récurrence la propriété suivante
:
Pour toute fonction convexe sur , si une variable aléatoire de loi à support , on a .
(b) Montrer que est vraie.
(c) Soit . On suppose que est vérifiée. Soit une variable aléatoire de loi à support où les sont des éléments distincts de . On pose . Pour tel que , on pose .
i) Montrer que et pour .
ii) Soit une variable aléatoire de loi à support telle que pour . Montrer que .
iii) Montrer que .
(d) Montrer que si est concave sur , on a .
9) Soit une variable aléatoire de loi à support . On pose, pour tel que , .
(a) Montrer que .
(b) Montrer que .
(c) Montrer que .
(d) On suppose que suit la loi uniforme sur . Calculer .
10) Soient et deux variables aléatoires de même loi à support . On suppose en outre et indépendantes.
(a) Montrer que .
(b) On pose pour tout élément de . Montrer que

(c) En déduire que .
(d) Donner un exemple de loi où l'inégalité précédente est une égalité.

Soient et deux variables aléatoires de lois à support . On appelle entropie jointe de et le réel

avec la convention .
11)
(a) On définit la fonction en posant pour

Montrer que .
(b) Montrer que .
(c) Pour tout tel que , on pose

On appelle entropie conditionnelle de sachant le réel

Montrer que .
(d) Montrer que pour tout couple de variables aléatoires et de lois à support , on a

(on lit dans la -ième colonne et la -ième ligne la valeur de ).
(a) Déterminer la loi de et montrer que .
(b) Déterminer la loi de et calculer .
(c) Montrer que .
(d) Que vaut ?
(e) Calculer .
13) Soient et deux variables aléatoires de lois à support . On appelle information mutuelle de et de le réel

(a) Montrer que .
(b) Montrer que .
(c) Montrer que .
(d) Que vaut si et sont indépendantes?
14) Soient et deux variables aléatoires de lois à support . On fixe . Pour , on pose . On suppose que pour tout et on pose .
(a) Montrer que .
(b) Soit une variable aléatoire de loi à support dont la loi est donnée par pour . Montrer que

(c) En déduire que .