Esta página aún no se ha traducido para esta versión. Puede ver la versión más reciente de esta página en inglés.

La clasificación Bayes Naive

El clasificador Bayes Ingenuo está diseñado para su uso cuando los predictores son independientes entre sí dentro de cada clase, pero parece funcionar bien en la práctica, incluso cuando esa suposición de independencia no es válida. Clasifica los datos en dos pasos:

  1. Paso de entrenamiento: Utilizando los datos de entrenamiento, el método estima los parámetros de una distribución de probabilidad, suponiendo que los predictores son condicionalmente independientes dada la clase.

  2. Paso de predicción: Para los datos de prueba no vistos, el método calcula la probabilidad posterior de esa muestra que pertenece a cada clase. A continuación, el método clasifica los datos de prueba según la probabilidad posterior más grande.

La suposición de independencia condicional de clase simplifica en gran medida el paso de entrenamiento, ya que puede estimar la densidad condicional de clase unidimensional para cada predictor individualmente. Mientras que la independencia condicional clase entre predictores no es cierto en general, la investigación muestra que esta suposición optimista funciona bien en la práctica. Esta suposición de independencia condicional de clase de los predictores permite que el clasificador Bayes Ingenuo estime los parámetros requeridos para la clasificación exacta mientras que utiliza menos datos de entrenamiento que muchos otros clasificadores. Esto hace que sea particularmente eficaz para los conjuntos de datos que contienen muchos predictores.

Distribuciones admitidas

El paso de entrenamiento en la clasificación de Bayes ingenua se basa en estimar (|), la probabilidad o la densidad de probabilidad de los predictores dados clase.PXYXY El ingenuo modelo de clasificación Bayes y la función de entrenamiento proporcionan soporte para distribuciones condicionales de predictor multinomial normal (gaussiano), multinomial y multivariado.ClassificationNaiveBayesfitcnb Para especificar distribuciones para los predictores, utilice el argumento de par nombre-valor de.DistributionNamesfitcnb Puede especificar un tipo de distribución para todos los predictores proporcionando el vector de caracteres o escalar de cadena correspondiente al nombre de distribución, o especificar distribuciones diferentes para los predictores proporcionando una matriz de cadena de longitud o matriz de celdas de vectores de caracteres, donde es el número de predictores (es decir, el número de columnas de).DDX

Distribución normal (gaussiana)

La distribución (especificar Using) es adecuada para los predictores que tienen distribuciones normales en cada clase.'normal''normal' Para cada predictor que Modele con una distribución normal, el clasificador Bayes Ingenuo estima una distribución normal separada para cada clase calculando la media y la desviación estándar de los datos de entrenamiento en esa clase.

Distribución del kernel

La distribución (especificar Using) es adecuada para los predictores que tienen una distribución continua.'kernel''kernel' No requiere una suposición fuerte como una distribución normal y se puede utilizar en casos donde la distribución de un predictor puede ser sesgada o tener múltiples picos o modos. Requiere más tiempo de computación y más memoria que la distribución normal. Para cada predictor que Modele con una distribución de kernel, el clasificador Bayes Ingenuo calcula una estimación de densidad de kernel independiente para cada clase en función de los datos de entrenamiento de esa clase. De forma predeterminada, el kernel es el kernel normal y el clasificador selecciona un ancho automáticamente para cada clase y predictor. El software es compatible con la especificación de diferentes kernels para cada predictor, y diferentes anchos para cada predictor o clase.

Distribución multinomial multivariada

La distribución multivariada y multinomial (especificar el uso) es adecuada para un predictor cuyas observaciones sean categóricas.'mvmn' La construcción de clasificador Naive Bayes utilizando un predictor multinomial multivariado se describe a continuación. Para ilustrar los pasos, considere un ejemplo en el que las observaciones se etiquetan como 0, 1 o 2, y un predictor del tiempo cuando se realizó la muestra.

  1. Registre las distintas categorías representadas en las observaciones de todo el predictor. Por ejemplo, las categorías distintas (o niveles de predictor) pueden incluir soleado, lluvia, nieve y nublado.

  2. Separe las observaciones por clase de respuesta. Por ejemplo, segregar observaciones etiquetadas como 0 a partir de observaciones etiquetadas 1 y 2, y observaciones etiquetadas 1 de observaciones etiquetadas 2.

  3. Para cada clase de respuesta, ajuste un modelo multinomial utilizando las frecuencias relativas de categoría y el número total de observaciones. Por ejemplo, para las observaciones etiquetadas como 0, la probabilidad estimada de que estaba soleado es psunny|0 = (número de observaciones soleadas con la etiqueta 0)/(número de observaciones con la etiqueta 0), y similares para las otras categorías y etiquetas de respuesta.

Las variables aleatorias multinomiales de clase condicional comprenden una variable aleatoria multinomial multivariada.

Estas son algunas otras propiedades de los clasificadores Bayes ingenuos que utilizan multinomial multivariado.

  • Para cada predictor que Modele con una distribución multinomial multivariado, el clasificador Bayes Ingenuo:

    • Registra un conjunto independiente de niveles de predictor distintos para cada predictor

    • Calcula un conjunto independiente de probabilidades para el conjunto de niveles de predictor para cada clase.

  • El software es compatible con el modelado de predictores continuos como multinomial multivariado. En este caso, los niveles de predictor son las ocurrencias distintivas de una medida. Esto puede llevar a un predictor que tiene muchos niveles de predictor. Es una buena práctica discretizar tales predictores.

Si se trata de un conjunto de éxitos para varias categorías (representadas por todos los predictores) fuera de un número fijo de ensayos independientes, a continuación, especifique que los predictores comprenden una distribución multinomial.observation Para obtener más información, consulte.Distribución multinomial

Distribución multinomial

La distribución multinomial (especificar Using) es apropiada cuando, dada la clase, cada una es una variable aleatoria multinomial.'DistributionNames','mn'observation Es decir, la observación, o fila, de los Datos predictores representa las categorías, dondejXD Xjd es el número de éxitos para la categoría (es decir, predictor) end nj=d=1Dxjd ensayos independientes. A continuación se describen los pasos para entrenar a un clasificador Bayes ingenuo.

  1. Para cada clase, ajuste una distribución multinomial para los predictores dados la clase:

    1. La agregación de la categoría ponderada, cuenta sobre todas las observaciones. Además, el software implementa el suavizado aditivo.[1]

    2. Estimar las probabilidades de categoría dentro de cada clase utilizando los recuentos de categorías agregadas.D Estas probabilidades de categoría componen los parámetros de probabilidad de la distribución multinomial.

  2. Que una nueva observación tenga un recuento total de.m Entonces, el clasificador Bayes Ingenuo:

    1. Establece el parámetro de recuento total de cada distribución multinomial param

    2. Para cada clase, se estima la probabilidad posterior de clase utilizando las distribuciones multinomiales estimadas

    3. Predice la observación en la clase correspondiente a la probabilidad posterior más alta

Considere el llamado modelo bag-of-tokens, donde hay una bolsa que contiene un número de tokens de varios tipos y proporciones. Cada predictor representa un tipo diferenciado de token en la bolsa, una observación es sorteos independientes (es decir, con reemplazo) de tokens de la bolsa, y los datos son un vector de recuentos, donde Element es el número de veces que aparece el token.ndd

Una aplicación de aprendizaje automático es la construcción de un clasificador de spam de correo electrónico, donde cada predictor representa una palabra, un carácter o una frase (es decir, un token), una observación es un correo electrónico y los datos son recuentos de los tokens en el correo electrónico. Un predictor podría contar el número de puntos de exclamación, otro podría contar el número de veces que aparece la palabra "Money", y otra podría contar el número de veces que aparece el nombre del destinatario. Este es un modelo Bayes Ingenuo bajo la suposición adicional de que el número total de tokens (o la longitud total del documento) es independiente de la clase de respuesta.

Otras propiedades de los clasificadores Bayes ingenuos que utilizan observaciones multinomiales incluyen:

  • La clasificación se basa en las frecuencias relativas de las categorías. Si Nj = 0 para la observación, entonces la clasificación no es posible para esa observación.j

  • Los predictores no son condicionalmente independientes, ya que deben sumar a Nj.

  • Naive Bayes no es apropiado cuando Nj proporciona información sobre la clase. Es decir, este clasificador requiere que Nj es independiente de la clase.

  • Si especifica que los predictores son condicionalmente multinomial, el software aplica esta especificación a todos los predictores. En otras palabras, no se puede incluir en una matriz de celdas al especificar.'mn''DistributionNames'

Si a es categórico, es decir, es multinomial dentro de una clase de respuesta, entonces especifique que es multinomial multivariado.predictor Para obtener más información, consulte.Distribución multinomial multivariada

Referencias

[1] Manning, C. D., P. Raghavan, and M. Schütze. Introduction to Information Retrieval, NY: Cambridge University Press, 2008.

Consulte también

Funciones

Objetos

Temas relacionados