Algèbre linéaireAlgèbre bilinéaire et espaces euclidiensCalcul différentiel et fonctions à plusieurs variablesProbabilités finies, discrètes et dénombrement
Objectif du problème et articulations entre ses différentes parties
L'objectif du problème est d'établir une expression matricielle donnant la solution du problème de minimisation des moindres carrés classiquement utilisée en régression linéaire multiple. Cette expression est utilisée pour établir les formules classiques de la régression linéaire simple.
La partie A donne une description de l'orthogonal de l'image d'une matrice. Elle permet de construire dans la partie B , la matrice de la projection orthogonale sur un sous-espace de . La partie C utilise cette approche dans le contexte de la régression linaire simple. Elle utilise donc des résultats de la partie B qui elle-même utilise des résultats de la partie A.
Notations et Rappels
Lorsque et sont deux entiers naturels non nuls, désigne l'ensemble des matrices à lignes et colonnes à coefficients réels et l'ensemble des matrices carrées d'ordre à coefficients réels.
Par exemple :
Pour toute matrice , on note sa transposée.
On rappelle que: .
On rappelle la définition du noyau et la définition de l'image d'une matrice
é
Le produit scalaire usuel sur est défini pour tout et par :
Pour tout , on note la norme de associée à ce produit scalaire, définie par :
L'orthogonal d'un sous-espace de pour ce produit scalaire est défini par :
Partie A - L'égalité
Q1. Soient les vecteurs colonnes d'une matrice .
Pour tout , déterminer tel que .
Montrer que la famille ( ) est une famille génératrice de .
I - Un premier exemple
Dans cette partie, on prend .
Q2. Déterminer une base de .
Q3. Montrer que .
II - Une démonstration
Q4. Justifier que pour tout , on a .
Q5. Soit . Montrer que si pour tout alors est nul.
Soit .
Q6. Montrer que pour tout et pour tout , on a .
Q7. En déduire que : .
Q8. En déduire que .
III - Une application
Dans cette partie c'est-à-dire est une matrice carrée d'ordre à coefficients réels.
Q9. Justifier que les sous-espaces et sont supplémentaires dans .
Q10. Justifier que les sous-espaces et sont supplémentaires dans .
Q11. En déduire que pour tout , il existe tel que . On admet que le couple ( ) ainsi associé à est unique. On note alors u l'application .
Q12. Montrer que est un endomorphisme de .
On note la matrice de dans la base canonique de .
Q13. Soit , et ( ) défini de manière unique en .
A l'aide de la définition d'une projection orthogonale et de la question montrer que est le projeté orthogonal de sur .
En déduire que est la matrice de la projection orthogonale sur .
Q14. Montrer que est la matrice de la projection orthogonale .
IV - Un deuxième exemple
Jusqu'à la fin de cette partie, on prend avec .
On note la base canonique de .
Q15. Déterminer le rang de et le rang de .
Q16. Déterminer une base de chacun des espaces et . On exprimera chaque base à l'aide des vecteurs de .
Q17. Vérifier que l'endomorphisme de construit en , est l'application :
Q18. Construire la matrice de dans .
Q19. Vérifier le résultat de la question Q14.
Partie B - Une expression de la matrice d'un projecteur orthogonal dans une base quelconque
L'espace est muni de son produit scalaire canonique rappelé en préambule.
Soient un sous-espace vectoriel de de dimension et une base de .
On note la projection orthogonale sur et la matrice de dans la base canonique de .
La matrice est donc dans et ses colonnes sont les vecteurs exprimés dans la base canonique de .
Le but de cette partie est de démontrer que la matrice est inversible et que est la matrice de dans la base canonique de .
Q20. Justifier que .
Q21. Montrer que : .
Q22. Montrer que est inversible.
Q23. Montrer que .
Q24. Montrer que pour tout , il existe tel que : et .
Q25. En déduire que la matrice est la matrice de dans la base canonique de .
Partie C - Régression linéaire simple
On pose le vecteur colonne à lignes contenant que des 1 .
On note un vecteur colonne donné et non colinéaire à .
Soit la matrice : .
Lors d'un processus expérimental d'entrée , on recueille l'observation . On répète ce même processus avec l'entrée , on recueille l'observation . Ainsi de suite jusqu'au dernier processus d'entrée , où on recueille l'observation .
On note le vecteur contenant donc les observations après les processus expérimentaux d'entrées .
On pose la fonction définie par : .
I - Minimisation de sur un exemple
On prend dans cette sous partie, et .
Q26. Expliciter la fonction et justifier qu'elle est de classe sur .
Q27. Calculer les dérivées partielles de .
Q28. En déduire que admet un unique point critique dans que l'on précisera.
Q29. Montrer qu'en ce point atteint son minimum. Pour tout , on écrira sous la forme où et .
II - Minimisation de via une projection orthogonale
On se place dans les conditions énoncées dans le préambule de la partie C .
Q30. Démontrer que: . Justifier que est de classe sur .
Q31. Calculer le gradient de en noté .
Q32. Montrer que: .
Q33. Justifier à l'aide de la partie B que la matrice est inversible.
Q34. Montrer que si admet un extremum en ( ) alors .
On note et le projecteur orthogonal sur .
Q35. Justifier que .
Q36. En déduire que est le minimum de sur .
III - Une autre expression de la solution du problème de minimisation de
On note :
les valeurs moyennes et
Q37. Montrer que .
Q38. Montrer que où .
Q39. Montrer que .
Q40. En déduire que la matrice est inversible et montrer que .
Q41. En déduire que : et
Q42. Un exemple d'application
Soit la fonction définie sur par :
Déterminer en quel point le minimum de sur est atteint.
IV - Espérance des estimateurs de l'argmin
On suppose que chaque , pour , est une observation d'une variable aléatoire réelle .
On suppose que les variables aléatoires suivent toutes la même loi et sont deux à deux indépendantes.
On modélise le processus expérimental à l'aide du modèle linéaire, c'est à dire on suppose que :
Pour où est une variable aléatoire réelle.
On suppose que les variables suivent toutes la même loi, sont centrées et d'écart type noté , et sont deux à deux indépendantes.
On note le vecteur aléatoire dont les coordonnées sont les variables aléatoires .
De même, on note le vecteur aléatoire dont les coordonnées sont les variables aléatoires .
Q43. Déterminer l'espérance de en fonction des nombres réels et .
Q44. Déterminer la variance de en fonction de .
On pose le vecteur aléatoire .
Ainsi définies, et sont des variables aléatoires réelles appelées estimateurs des coefficients par la méthode des moindre carrés.
On note : et on définit les variables aléatoires
Q45. Déterminer l'espérance de en fonction des nombres réels et .
Q46. Justifier que et que .
Q47. Déterminer l'espérance de .
Q48. Déterminer l'espérance de .
Centrale Mathématiques 2 TSI 2025 - Version Web LaTeX | WikiPrépa | WikiPrépa