Visualizar y evaluar el rendimiento de clasificadores en Classification Learner

Después de entrenar a los clasificadores en Classification Learner, puede comparar los modelos en función de los valores de precisión, visualizar resultados representando predicciones de clase y comprobar el rendimiento con la matriz de confusión y la curva ROC.

• Si se utiliza la validación cruzada de k particiones, la app calcula los valores de precisión utilizando las observaciones de las k particiones de validación e informa del error medio de validación cruzada. También realiza predicciones sobre las observaciones en estas particiones de validación y calcula la matriz de confusión y la curva ROC en función de estas predicciones.

  Nota

  Cuando se importan datos a la app, si se aceptan los valores predeterminados, la app utiliza automáticamente la validación cruzada. Para obtener más información, consulte Elegir esquema de validación.

• Si se utiliza la validación por retención, la app calcula los valores de precisión utilizando las observaciones de la partición de validación y realiza predicciones sobre estas observaciones. La app también calcula la matriz de confusión y la curva ROC en función de estas predicciones.

• Si se utiliza la validación por sustitución, la puntuación es la precisión de sustitución basada en todos los datos de entrenamiento y las predicciones son predicciones de sustitución.

Comprobar el rendimiento en el panel Models

Después de entrenar un modelo en Classification Learner, compruebe el panel Models para ver qué modelo tiene la mejor precisión global en porcentaje. La mejor puntuación de Accuracy (Validation) se muestra resaltada en un cuadro. Esta puntuación es la precisión de validación. La puntuación de precisión de validación calcula el rendimiento de un modelo en nuevos datos en comparación con los datos de entrenamiento. Utilice la puntuación para elegir el mejor modelo.

• Para la validación cruzada, la puntuación es la precisión de todas las observaciones no reservadas para las pruebas, contando cada observación cuando estaba en una partición de retención (validación).

• En el caso de la validación por retención, la puntuación es la precisión de las observaciones retenidas.

• Para la validación por sustitución, la puntuación es la precisión de sustitución frente a todas las observaciones de datos de entrenamiento.

La mejor puntuación global puede no ser el mejor modelo para su objetivo. Un modelo con una precisión global ligeramente inferior puede ser el mejor clasificador para su objetivo. Por ejemplo, los falsos positivos en una clase concreta pueden ser importantes para usted. Es posible que desee excluir algunos predictores cuando la recopilación de datos sea costosa o difícil.

Para averiguar cuál ha sido el rendimiento del clasificador en cada clase, examine la matriz de confusión.

Ver métricas del modelo en la pestaña Summary y en el panel Models

Puede ver las métricas del modelo en la pestaña Summary del modelo y en el panel Models y utilizar las métricas para evaluar y comparar modelos. De forma alternativa, puede utilizar la pestaña Results Table para comparar modelos. Para obtener más información, consulte Comparar la información del modelo y los resultados en una vista de tabla.

Las métricas de Training Results se calculan sobre el conjunto de validación. Las métricas de Test Results, si se muestran, se calculan sobre un conjunto de prueba. Para obtener más información, consulte Evaluar el rendimiento del modelo de un conjunto de prueba.

Métricas del modelo

Métrica	Descripción	Consejo
Precisión	Porcentaje de observaciones clasificadas correctamente.	Busque valores mayores de precisión.
Coste total	Coste total de la clasificación errónea.	Busque valores menores de coste total. Asegúrese de que el valor de precisión siga siendo amplio.
Tasa de error	Porcentaje de observaciones clasificadas erróneamente. La tasa de error es 1 menos la precisión.	Busque valores menores de la tasa de error.
Velocidad de predicción	Velocidad de predicción estimada para los nuevos datos, basada en los tiempos de predicción de los conjuntos de datos de validación.	Los procesos que se llevan a cabo en segundo plano tanto dentro como fuera de la app pueden afectar a esta estimación, de modo que es importante entrenar los modelos en condiciones similares para obtener mejores comparaciones.
Tiempo de entrenamiento	Tiempo dedicado a entrenar el modelo.	Los procesos que se llevan a cabo en segundo plano tanto dentro como fuera de la app pueden afectar a esta estimación, de modo que es importante entrenar los modelos en condiciones similares para obtener mejores comparaciones.
Tamaño del modelo (compacto)	Tamaño del modelo si se exporta como modelo compacto (es decir, sin datos de entrenamiento).	Busque valores del tamaño del modelo que se ajusten a los requisitos de memoria de las aplicaciones de hardware objetivo.

Puede ordenar los modelos en el panel Models en función de la precisión, el coste total o la tasa de error. Para seleccionar una métrica para la ordenación de modelos, utilice la lista Sort by situada en la parte superior del panel Models. No todas las métricas están disponibles para la ordenación en el panel Models. Puede ordenar los modelos por otras métricas en Results Table (consulte Comparar la información del modelo y los resultados en una vista de tabla).

También puede eliminar los modelos no deseados que aparecen en el panel Models. Seleccione el modelo que desea eliminar y haga clic en el botón Delete selected model situado en la parte superior derecha del panel o haga clic con el botón secundario en el modelo y seleccione Delete. No puede eliminar el último modelo restante del panel Models.

Comparar la información del modelo y los resultados en una vista de tabla

En lugar de utilizar la pestaña Summary o el panel Models para comparar las métricas del modelo, puede utilizar una tabla de resultados. En la pestaña Learn, de la sección Plots and Results, haga clic en Results Table. En la pestaña Results Table, puede ordenar los modelos en función de sus resultados de entrenamiento y prueba, así como en función de sus opciones (como tipo de modelo, características seleccionadas, PCA, etc.). Por ejemplo, para ordenar los modelos por precisión de validación, haga clic en las flechas de ordenación del encabezado de la columna Accuracy (Validation). Una flecha hacia abajo indica que los modelos están ordenados de la precisión más alta a la precisión más baja.

Para ver más opciones de columnas de la tabla, haga clic en el botón "Select columns to display" situado en la parte superior derecha de la tabla. En el cuadro de diálogo Select Columns to Display, marque las casillas de las columnas que desee mostrar en la tabla de resultados. Las nuevas columnas seleccionadas se añaden en la parte de la derecha de la tabla.

Dentro de la tabla de resultados, puede arrastrar y soltar manualmente las columnas de la tabla para que aparezcan en el orden que prefiera.

Puede marcar determinados modelos como favoritos utilizando la columna Favorite. La app mantiene una selección coherente de modelos favoritos entre la tabla de resultados y el panel Models. A diferencia de otras columnas, las columnas Favorite y Model Number no se pueden eliminar de la tabla.

Para eliminar una fila de la tabla, haga clic con el botón secundario en cualquier entrada dentro de la fila y haga clic en Hide row (o Hide selected row(s) si la fila está resaltada). Para eliminar filas consecutivas, haga clic en cualquier entrada dentro de la primera fila que desee eliminar, pulse Mayús y haga clic en cualquier entrada dentro de la última fila que desee eliminar. Después, haga clic con el botón secundario en cualquiera de las entradas resaltadas y haga clic en Hide selected row(s). Para restaurar todas las filas eliminadas, haga clic con el botón secundario en cualquier entrada de la tabla y haga clic en Show all rows. Las filas restauradas se añaden a la parte inferior de la tabla.

Para exportar la información de la tabla, utilice uno de los botones de exportación situados en la parte superior derecha de la tabla. Puede elegir entre exportar la tabla al área de trabajo o a un archivo. La tabla exportada solo incluye las filas y columnas que se muestran.

Representar los resultados del clasificador

Utilice una gráfica de dispersión para examinar los resultados del clasificador. Para ver la gráfica de dispersión de un modelo, seleccione el modelo en el panel Models. En la sección Plots and Results de la pestaña Learn, haga clic en la flecha para abrir la galería y, a continuación, haga clic en Scatter en el grupo Validation Results. Después de entrenar un clasificador, la gráfica de dispersión pasa de mostrar los datos a mostrar predicciones del modelo. Si utiliza la validación por retención o cruzada, estas predicciones son las predicciones de las observaciones retenidas (de validación). En otras palabras, el software obtiene cada predicción mediante un modelo que se entrenó sin la observación correspondiente.

Para investigar los resultados, utilice los controles a la derecha. Puede:

• Elegir si desea representar predicciones del modelo o solo los datos.

• Mostrar u ocultar resultados correctos o incorrectos usando las casillas de Model predictions.

• Elegir las características que desea representar utilizando las listas X e Y en Predictors.

• Visualizar resultados por clase mostrando u ocultando clases específicas con las casillas de Show.

• Cambiar el orden de apilamiento de las clases representadas seleccionando una clase en Classes y haciendo clic en Move to Front.

• Acercarse y alejarse o desplazarse por la gráfica. Para activar el zoom o el desplazamiento, coloque el ratón encima de la gráfica de dispersión y haga clic en el botón correspondiente de la barra de herramientas que aparece en la parte superior derecha de la gráfica.

Consulte también Investigar las características en la gráfica de dispersión.

Para exportar las gráficas de dispersión que cree en la app como figuras, consulte Export Plots in Classification Learner App.

Comprobar el rendimiento por clase en la matriz de confusión

Utilice la gráfica de matriz de confusión para entender cuál ha sido el rendimiento en cada clase del clasificador seleccionado en este momento. Después de entrenar un modelo de clasificación, la app abre automáticamente la matriz de confusión de ese modelo. Si entrena un modelo "All", la app abre la matriz de confusión solo para el primer modelo. Para ver la matriz de confusión de otro modelo, seleccione el modelo en el panel Models. En la sección Plots and Results de la pestaña Learn, haga clic en la flecha para abrir la galería y, a continuación, haga clic en Confusion Matrix (Validation) en el grupo Validation Results. La matriz de confusión ayuda a identificar las áreas en las que el clasificador no ha tenido un buen rendimiento.

Cuando abre la gráfica, las filas muestran la clase verdadera y las columnas muestran la clase predicha. Si utiliza la validación por retención o cruzada, la matriz de confusión se calcula utilizando las predicciones de las observaciones retenidas (de validación). Las celdas diagonales muestran dónde coinciden la clase verdadera y la clase predicha. Si estas celdas diagonales son azules, el clasificador ha clasificado observaciones de esta clase verdadera correctamente.

La vista predeterminada muestra el número de observaciones de cada celda.

Para ver cuál ha sido el rendimiento del clasificador por clase, en Plot, seleccione la opción True Positive Rates (TPR), False Negative Rates (FNR). La TPR es la proporción de observaciones clasificadas correctamente por clase verdadera. La FNR es la proporción de observaciones clasificadas incorrectamente por clase verdadera. La gráfica muestra resúmenes por clase verdadera en las dos últimas columnas a la derecha.

Sugerencia

Busque áreas en las que el clasificador no haya tenido un buen rendimiento examinando celdas fuera de la diagonal que muestren porcentajes elevados y sean naranjas. Cuanto mayor sea el porcentaje, más oscuro será el tono de color de la celda. En estas celdas naranjas, la clase verdadera y la clase predicha no coinciden. Los puntos de datos están clasificados incorrectamente.

En este ejemplo, que utiliza el conjunto de datos carbig, la quinta columna desde arriba muestra todos los coches con la clase verdadera Japan. Las columnas muestran las clases predichas. De los coches procedentes de Japón, el 77.2% están clasificados correctamente, por lo que 77.2% es la tasa de verdaderos positivos para puntos clasificados correctamente de esta clase, mostrada en la celda azul de la columna TPR.

Los otros coches de la fila Japan están clasificados incorrectamente: el 5.1% de los coches están clasificados incorrectamente como procedentes de Alemania, el 5.1% están clasificados como procedentes de Suecia y el 12.7% están clasificados como procedentes de EE. UU. La tasa de falsos negativos para puntos clasificados incorrectamente en esta clase es 22.8%, que se muestra en la celda naranja de la columna FNR.

Si desea ver los números de observaciones (coches, en este ejemplo) en lugar de los porcentajes, en Plot, seleccione Number of observations.

Si los falsos positivos son importantes en el problema de clasificación, represente los resultados por clase predicha (en lugar de clase verdadera) para investigar las tasas de descubrimiento falso. Para ver los resultados por clase predicha, en Plot, seleccione la opción Positive Predictive Values (PPV), False Discovery Rates (FDR). Los PPV son la proporción de observaciones clasificadas correctamente por clase predicha. Las FDR son la proporción de observaciones clasificadas incorrectamente por clase predicha. Con esta opción seleccionada, la matriz de confusión incluye ahora filas de resumen debajo de la tabla. Los valores predictivos positivos se muestran en azul para los puntos predichos correctamente en cada clase y las tasas de descubrimiento falso se muestran en naranja para los puntos predichos incorrectamente en cada clase.

Si decide que hay demasiados puntos clasificados incorrectamente en las clases de interés, intente cambiar la configuración del clasificador o la selección de características para buscar un mejor modelo.

Para exportar las gráficas de matriz de confusión que cree en la app como figuras, consulte Export Plots in Classification Learner App.

Comprobar una curva ROC

Vea una curva de característica operativa del receptor (ROC) después de entrenar un modelo. En la sección Plots and Results, haga clic en la flecha para abrir la galería y, a continuación, haga clic en ROC Curve (Validation) en el grupo Validation Results. La app crea una curva ROC usando la función rocmetrics.

La curva ROC muestra la tasa de verdaderos positivos (TPR) frente a la tasa de falsos positivos (FPR) para diferentes umbrales de puntuaciones de clasificación, calculadas por el clasificador seleccionado en este momento. Model Operating Point muestra la tasa de falsos positivos y la tasa de verdaderos positivos correspondiente al umbral utilizado por el clasificador para clasificar una observación. Por ejemplo, una tasa de falsos positivos de 0,4 indica que el clasificador asigna incorrectamente el 40% de las observaciones de la clase negativa a la clase positiva. Una tasa de verdaderos positivos de 0,9 indica que el clasificador asigna correctamente el 90% de las observaciones de la clase positiva a la clase positiva.

El valor AUC (área bajo la curva) corresponde a la integral de una curva ROC (valores TPR) con respecto a FPR desde FPR = 0 hasta FPR = 1. El valor AUC es una medida de la calidad total del clasificador. Los valores AUC se encuentran en el rango de 0 a 1 y los valores AUC mayores indican un mejor rendimiento del clasificador. Compare las clases y los modelos entrenados para ver si su rendimiento es diferente en la curva ROC.

Puede crear una curva ROC para una clase específica usando las casillas Show debajo de Plot. No obstante, no es necesario examinar las curvas ROC para ambas clases en un problema de clasificación binario. Las dos curvas ROC son simétricas y los valores AUC son idénticos. Una TPR de una clase es una tasa de verdaderos negativos (TNR) de la otra clase y TNR es 1–FPR. Por ello, una gráfica de TPR frente a FPR para una clase es la misma que una gráfica de 1–FPR frente a 1–TPR para la otra clase.

Para un clasificador multiclase, la app formula un conjunto de problemas de clasificación binarios de uno frente a todos para tener un problema binario para cada clase y encuentra una curva ROC para cada clase usando el correspondiente problema binario. Cada problema binario asume que una clase es positiva y el resto son negativas. El punto de funcionamiento del modelo en la gráfica muestra el rendimiento del clasificador para cada clase en su problema binario de uno frente a todos.

Para obtener más información, consulte rocmetrics y ROC Curve and Performance Metrics.

Para exportar las gráficas de la curva ROC que cree en la app como figuras, consulte Export Plots in Classification Learner App.

Comparar gráficas de modelos cambiando el diseño

Visualice los resultados de los modelos entrenados en Classification Learner con las opciones de la gráfica recogidas en la sección Plots and Results de la pestaña Learn. Puede reorganizar el diseño de las gráficas para comparar los resultados de varios modelos: utilice las opciones del botón Layout, arrastre y suelte las gráficas o seleccione las opciones del botón Document Actions situado a la derecha de las pestañas de las gráficas de los modelos.

Por ejemplo, después de entrenar dos modelos en Classification Learner, muestre una gráfica para cada modelo y cambie el diseño de la gráfica para comparar las gráficas usando uno de los siguientes procedimientos:

• En la sección Plots and Results, haga clic en Layout y seleccione Compare models.

• Haga clic en el nombre de la pestaña del segundo modelo y, después, arrastre y suelte la pestaña del segundo modelo a la derecha.

• Haga clic en el botón Document Actions situado en el extremo derecho de las pestañas de las gráficas de los modelos. Seleccione la opción Tile All y especifique un diseño de 1 por 2.

  

Tenga en cuenta que puede hacer clic en el botón para ocultar las opciones de la gráfica situado en la parte superior derecha de las gráficas para dejar más espacio para las gráficas.

Evaluar el rendimiento del modelo de un conjunto de prueba

Después de entrenar un modelo en Classification Learner, puede evaluar el rendimiento del modelo en un conjunto de prueba en la app. Este proceso permite comprobar si la precisión de validación ofrece una buena estimación para el rendimiento del modelo con nuevos datos.

1. Importe un conjunto de datos de prueba en Classification Learner. También puede reservar algunos datos para realizar pruebas cuando se importen datos a la app (consulte (Opcional) Reservar datos para las pruebas).

   • Si el conjunto de datos de prueba se encuentra en el área de trabajo de MATLAB^®, en la sección Data de la pestaña Test, haga clic en Test Data y seleccione From Workspace.

   • Si el conjunto de datos de prueba se encuentra en un archivo, en la sección Data, haga clic en Test Data y seleccione From File. Seleccione un tipo de archivo de la lista, como una hoja de cálculo, archivo de texto o archivo de valores separados por comas (.csv), o seleccione All Files para examinar otros tipos de archivos como los .dat.

   En el cuadro de diálogo Import Test Data, seleccione el conjunto de datos de prueba de la lista Test Data Set Variable. El conjunto de prueba debe tener las mismas variables que los predictores importados para el entrenamiento y la validación. Los valores únicos de la variable de respuesta de prueba deben ser un subconjunto de las clases de la variable de respuesta completa.

2. Calcule las métricas del conjunto de prueba.

   • Para calcular las métricas de prueba de un único modelo, seleccione el modelo entrenado del panel Models. En la pestaña Test, de la sección Test, haga clic en Test Selected.

   • Para calcular las métricas de prueba de todos los modelos entrenados, haga clic en Test All, en la sección Test.

   La app calcula el rendimiento del conjunto de prueba de cada modelo entrenado con el conjunto de datos completo, incluyendo los datos de entrenamiento y validación (pero excluyendo los datos de prueba).

3. Compare la precisión de validación con la precisión de prueba.

   En la pestaña Summary del modelo, la app muestra las métricas de validación y las métricas de prueba en la sección Training Results y en la sección Test Results, respectivamente. Puede comprobar si la precisión de validación ofrece una buena estimación para la precisión de prueba.

   También puede visualizar los resultados de la prueba con gráficas.

   • Muestre una matriz de confusión. En la sección Plots and Results de la pestaña Test, haga clic en Confusion Matrix (Test).

   • Muestre una curva ROC. En la sección Plots and Results, haga clic en ROC Curve (Test).

Para ver un ejemplo, consulte Check Classifier Performance Using Test Set in Classification Learner App. Para ver un ejemplo que utiliza métricas de conjuntos de prueba en un flujo de trabajo de optimización de hiperparámetros, consulte Train Classifier Using Hyperparameter Optimization in Classification Learner App.

Temas relacionados

• Train Classification Models in Classification Learner App
• Seleccionar datos para clasificación o abrir sesión guardada en la app
• Choose Classifier Options
• Selección y transformación de características mediante la app Classification Learner
• Export Plots in Classification Learner App
• Export Classification Model to Predict New Data
• Train Decision Trees Using Classification Learner App