Tema 2.1 - Interpretación de out-of-bag error

Una característica importante de los modelos Random Rorests es el error out-of-bag. 

El out-of-bag error es una forma sencilla de estimar el error de test en un modelo bagged.

Por ejemplo: Se puede demostrar que de media, cada árbol construido con un modelo bagged utiliza 2/3 partes de las observaciones del conjunto de entrenamiento.

El 1/3 restante de las observaciones de entrenamiento no se utilizan para generar el árbol bagged y son llamadas out-of-bag.

Un modelo random forests se puede entrenar de forma secuencial, donde no es necesario utilizar validación cruzada, pues las muestras out-of-bag proporcionan una estimación similar.

Para ello, es necesario observar la evolución del out-of-bag error y una vez que este error se haya estabilizado, el algoritmo puede parar el entrenamiento.

Ejemplo de evolución del out-of-bag error. La gráfica muestra la evolución de 2500 árboles, pero se observa que 200 árboles serían suficientes.

Imagen tomada de : Hastie et. al.,2001.