Tema 3.6 - Comparación del MAE y el RMSE

Comparación del MAE y el RMSE

El modelo alcanzó un valor de RMSE de aproximadamente 135,6, lo que implica que debemos esperar que el modelo se equivoque en 135,6 dólares de media para los valores de precio predichos, dado que la mayoría de las viviendas se cotizan a unos pocos cientos de dólares, debemos reducir este error al máximo para mejorar la utilidad del modelo. 

Hemos hablado de algunas métricas de error diferentes que podemos utilizar para entender el rendimiento de un modelo, como mencionamos anteriormente, estas métricas de error individuales son útiles para comparar modelos; para entender mejor un modelo específico, podemos comparar múltiples métricas de error para el mismo modelo, esto requiere una mejor comprensión de las propiedades matemáticas de las métricas de error.

Si se observa la ecuación de MAE:

Observará que las diferencias entre los valores predichos y los reales crecen linealmente. Una predicción que se desvía en 10 dólares tiene un error 10 veces mayor que una predicción que se desvía en 1 dólar. Sin embargo, si observamos la ecuación del RMSE:

Observará que cada error se eleva al cuadrado antes de tomar la raíz cuadrada de la suma de todos los errores. Esto significa que los errores individuales crecen cuadráticamente y tienen un efecto diferente en el valor final del RMSE. 

Veamos un ejemplo utilizando datos totalmente diferentes. Hemos creado 2 objetos Serie que contienen 2 conjuntos de errores y los hemos asignado a errors_one and errors_two.

Instrucciones

• Calcular el MAE para  errors_one  y asignarlo a mae_one 
• Calcular el RMSE para errors_one  y asignarlo a rmse_one 
• Calcular el MAE para  errors_two  y asignarlo a  mae_two 
• Calcular el RMSE para errors_two  y asignarlo a rmse_two

Soluciones

Mientras que la relación entre el MAE (7,5) y el RMSE (7,9056941504209481) fue de aproximadamente 1:1 para la primera lista de errores, la relación entre el MAE (62,5) y el RMSE (235,82302686548658) fue más cercana a 1:4 para la segunda lista de errores. En general, cabe esperar que el valor MAE sea mucho menor que el valor RMSE, l a única diferencia entre los dos conjuntos de errores es el valor extremo de 1000 en errors_two en lugar de 10, cuando trabajamos con conjuntos de datos más grandes, no podemos inspeccionar cada valor para entender si hay uno o algunos valores atípicos o si todos los errores son sistemáticamente más altos, observar la relación entre el MAE y el RMSE puede ayudarnos a entender si hay errores grandes pero poco frecuentes, puedes leer más sobre la comparación de MAE y RMSE en este maravilloso post:

https://medium.com/human-in-a-machine-world/mae-and-rmse-which-metric-is-better-e60ac3bde13d#.lyc8od1ix

En esta misión, hemos aprendido a probar nuestros modelos de aprendizaje automático utilizando la validación cruzada básica y diferentes métricas, en las próximas 2 misiones, exploraremos cómo añadir más características al modelo de aprendizaje automático y seleccionar un valor de k más óptimo puede ayudar a mejorar el rendimiento del modelo.