Esta página aún no se ha traducido para esta versión. Puede ver la versión más reciente de esta página en inglés.

Modelos de regresión de proceso Gaussiano

Los modelos de regresión de proceso Gaussiano (GPR) son modelos probabilísticos no paramétricos basados en kernel. Puede entrenar un modelo GPR utilizando la función.fitrgp

Considere el conjunto de entrenamiento {(xi,yi);i=1,2,...,n}Dónde xid Y yi, extraído de una distribución desconocida. Un modelo GPR aborda la cuestión de predecir el valor de una variable de respuesta ynew, dado el nuevo vector de entrada xnewy los datos de entrenamiento. Un modelo de regresión lineal es de la forma

y=xTβ+ε,

Dónde εN(0,σ2). La desviación de errorσ2 y los coeficientes se estiman a partir de los datos.β Un modelo GPR explica la respuesta introduciendo variables latentes, f(xi),i=1,2,...,n, desde un proceso Gaussiano (GP) y funciones de base explícita,.h La función de covarianza de las variables latentes capta la suavidad de las funciones de respuesta y base proyectan las entradas x en un espacio de características dimensional.p

Un GP es un conjunto de variables aleatorias, de tal manera que cualquier número finito de ellos tiene una distribución gaussiana conjunta. Si {f(x),xd} es un GP, luego dadas las observacionesn x1,x2,...,xn, la distribución conjunta de las variables aleatorias f(x1),f(x2),...,f(xn) es Gaussiano. Un GP se define por su función media m(x) y la función de covarianza, k(x,x). Es decir, si {f(x),xd} es un proceso Gaussiano, luego E(f(x))=m(x) Y Cov[f(x),f(x)]=E[{f(x)m(x)}{f(x)m(x)}]=k(x,x).

Ahora considere el siguiente modelo.

h(x)Tβ+f(x),

Dónde f(x)~GP(0,k(x,x)), es decir () proceden de un GP de media cero con función de covarianza, fx k(x,x). () son un conjunto de funciones de base que transforman el vector de entidad original en Rhxxd en un nuevo vector de función () en Rhxp. es un vector de los coeficientes de función de base de-por-1.βp Este modelo representa un modelo GPR. Una instancia de respuesta se puede modelar comoy

P(yi|f(xi),xi) ~N(yi|h(xi)Tβ+f(xi),σ2)

Por lo tanto, un modelo GPR es un modelo probabilístico. Hay una variable latente (fXi) introducido para cada observación xi, lo que hace que el modelo GPR no sea paramétrico. En forma vectorial, este modelo equivale a

P(y|f,X)~N(y|Hβ+f,σ2I),

Dónde

X=(x1Tx2TxnT),y=(y1y2yn),H=(h(x1T)h(x2T)h(xnT)),f=(f(x1)f(x2)f(xn)).

La distribución conjunta de variables latentes f(x1),f(x2),...,f(xn) en el modelo GPR es el siguiente:

P(f|X)~N(f|0,K(X,X)),

cerca de un modelo de regresión lineal, donde K(X,X) tiene el siguiente aspecto:

K(X,X)=(k(x1,x1)k(x1,x2)k(x1,xn)k(x2,x1)k(x2,x2)k(x2,xn)k(xn,x1)k(xn,x2)k(xn,xn)).

La función de covarianza k(x,x) suele parametrizarse mediante un conjunto de parámetros del kernel o hiperparámetros, θ. frecuentemente k(x,x) se escribe como k(x,x|θ) para indicar explícitamente la dependencia de θ.

estima los coeficientes de función de base,fitrgp β, la varianza del ruido, σ2, y los hiperparámetros,θ, de la función del kernel a partir de los datos mientras se entrena el modelo GPR. Puede especificar la función base, la función kernel (covarianza) y los valores iniciales de los parámetros.

Dado que un modelo GPR es probabilístico, es posible calcular los intervalos de predicción utilizando el modelo entrenado (consulte predict Y resubPredict). Considere algunos datos observados de la función () = * sin (), y asuma que son libres de ruido.gxxx El subgráfico de la izquierda de la figura siguiente ilustra las observaciones, el ajuste GPR y la función real. Es más realista que los valores observados no son los valores exactos de la función, sino una realización ruidosa de ellos. El subgráfico de la derecha ilustra este caso. Cuando las observaciones son libres de ruido (como en el subgráfico de la izquierda), el ajuste GPR cruza las observaciones, y la desviación estándar de la respuesta pronosticada es cero. Por lo tanto, usted no ve los intervalos de predicción alrededor de estos valores.

También puede calcular el error de regresión utilizando el modelo GPR entrenado (consulte loss Y resubLoss).

Referencias

[1] Rasmussen, C. E. and C. K. I. Williams. Gaussian Processes for Machine Learning. MIT Press. Cambridge, Massachusetts, 2006.

Consulte también

|

Temas relacionados