Evaluacion_de_Algoritmos_de_Clasificacion: Tema 2.2

Resumen

Una matriz de confusión es una herramienta que permite la visualización del desempeño de un algoritmo que se emplea en aprendizaje supervisado. Cada columna de la matriz representa el número de predicciones de cada clase, mientras que cada fila representa a las instancias en la clase real. Uno de los beneficios de las matrices de confusión es que facilitan ver si el sistema está confundiendo dos clases. (Wikipedia, 2022)

En la siguiente imagen se muestra cómo se obtienen los cuatro valores de una matriz de confusión para el caso de una clasificación binaria.

Fuente:
https://en.wikipedia.org/wiki/Confusion_matrix

Cada uno de estos cuatro valores se pueden definir de la siguiente forma:
1. Tasa de verdaderos positivos (true positives): se trata de las clasificaciones correctas de las instancias que corresponden a la clase positiva.	2. Tasa de falsos positivos (false positives): se trata de las clasificaciones de la clase negativa que han sido incorrectamente clasificadas como clase positiva.	3. Tasa de verdaderos negativos(true negatives): se trata de las clasificaciones correctas de las instancias que corresponden a la clase negativa.	4. Tasa de falsos negativos (false negatives): se trata de las clasificaciones de la clase positiva que han sido incorrectamente clasificadas como clase negativa.

A partir de estas 4 opciones surgen las métricas de la matriz de confusión. A continuación veremos cada una en detalle:

Sensivity/Specificity	Precision/recall
Una clasificación siempre conlleva un balance entre ser conservador y agresivo. Por ejemplo, un sistema de clasificación de spam podría eliminar todos los mensajes de spam a costa de eliminar también los mensajes ham. Por otro lado, es necesario una garantía de que ningún mensaje ham sea clasificado como spam. Este balance se captura con las métricas de sensibilidad y especificidad. La sensibilidad de un modelo es el ratio de los ejemplos positivos correctamente clasificados. La especificidad de un modelo indica la proporción de los ejemplos negativos correctamente clasificados. Estas métricas tienen valores de 0 a 1, siendo 1 lo más deseable y se definen así:	Estas métricas hacen referencia a los compromisos hechos en la clasificación. Se utilizan mucho en el campo de information retrieval e indican lo interesantes y relevantes que son los resultados de un modelo. La métrica de precisión también se conoce como positive predictive value (PPV) e indica la proporción de ejemplos que son verdaderamente positivos. Es decir, cuando el modelo predice la clase positiva, ¿cuántas veces está en lo cierto? Por otro lado, la métrica de recall indica que tan completos son los resultados. La métrica de recall equivale a la métrica de sensibilidad. Un modelo con gran recall captura un gran porcentaje de ejemplos positivos. La métrica de precisión también se conoce como positive predictive value (PPV) e indica la proporción de ejemplos que son verdaderamente positivos. Es decir, cuando el modelo predice la clase positiva, ¿cuántas veces está en lo cierto? Por otro lado, la métrica de recall indica que tan completos son los resultados. La métrica de recall equivale a la métrica de sensibilidad. Un modelo con gran recall captura un gran porcentaje de ejemplos positivos. La definición de ambas métricas es la siguiente:

Accuracy	F-measure
Esta métrica también se conoce como el ratio de éxito. Representa la proporción del número de predicciones correctas entre el número total de predicciones y se define así:	También conocida como F1, es una métrica que combina precisión y recall utilizando la media armónica. Se utiliza la media armónica porque los valores indican proporciones entre o y 1. Se utiliza con mucha frecuencia, puesto que simplifica el rendimiento de un algoritmo de clasificación a una única métrica. De forma matemática se define así: