| | |
Summary: 1
Exercice 1 (l'implémentation d'AdaBoost)
Notons par -1 et +1 les classes d'un problème de classification binaire. Soient Z1 =
(X1, Y1), . . . , Zn = (Xn, Yn) les données d'un ensemble d'apprentissage. Soit C un ensemble
de fonctions de l'espace des entrées X dans {-1; +1} tel que si f C alors -f C.
1) Un vecteur w Rn tel que n
i=1 wi = 1 et wi 0 pour tout i {1, . . . , n} peut
s'interpréter comme une probabilité sur l'ensemble d'apprentissage. Notons Ew l'espérance
par rapport à cette probabilité (i.e. Ew(Z) n
i=1 wi(Zi)). Pour un réel R et une
fonction f C, exprimer Ewe-Y f(X) en fonction de et p = Pw[Y = f(X)].
2) En déduire min
R
Ewe-Y f(X) en fonction de p.
3) Soit m N. Considérons l'algorithme suivant :
Initialisation : wi = 1/n pour tout i {1, . . . , n}
Itérations : Pour j allant de 1 à m :
Trouver fj argminfCPw f(X) = Y et ej la valeur du minimum, i.e. la probabilité
d'erreur de fj sous la loi empirique pondérée w.
Calculer j = 1
|
