Home

About

Advanced Search

Browse by Discipline

Scientific Societies

E-print Alerts

Add E-prints

E-print Network
FAQHELPSITE MAPCONTACT US


  Advanced Search  

 
Ecole des Ponts ParisTech 2009-2010 Machine Learning et Applications
 

Summary: 1
Ecole des Ponts ParisTech 2009-2010
Machine Learning et Applications
Corrigé de l'examen
Correction de l'exercice 1 1) Un algorithme de classification surapprend lorsque son
erreur d'apprentissage (i.e. le pourcentage de données d'apprentissage mal classées) est
beaucoup plus faible que son erreur de généralisation (i.e. que son erreur moyenne sur les
données de test). Un exemple d'algorithme souffrant, en général, de surapprentissage est
l'algorithme du plus proche voisin.
2) Les SVM reposent sur (i) l'utilisation du principe de minimisation du risque empi-
rique (pénalisé) (ii) l'emploi d'une fonction de perte convexe (ce qui évite les problèmes de
minima locaux dont souffrent les réseaux de neurones), (iii) l'emploi d'un noyau permettant
(1) la minimisation sur un espace infini de fonctions (le RKHS) grâce au théorème du re-
présentant, (2) de mettre les données dans un espace de très grande dimension dans lequel
les classificateurs linéaires forment un espace de fonctions riche (iv) la capacité à encoder
une similarité propre aux données à travers l'emploi d'un noyau adapté au problème
3) LFGN, TLC, inégalité de Hoeffding, inégalité de Bernstein (voir cours).
Correction de l'exercice 2
1) On a
R( ^f) - R( ~f) = R( ^f) - r( ^f) + r( ^f) - r( ~f)

  

Source: Audibert, Jean-Yves - Département d'Informatique, École Normale Supérieure

 

Collections: Computer Technologies and Information Sciences