Esta página aún no se ha traducido para esta versión. Puede ver la versión más reciente de esta página en inglés.

Regularización de lazo de modelos lineales generalizados

¿Qué es la regularización de lazo de modelo lineal generalizado?

Lasso es una técnica de regularización. Utilizar para:lassoglm

  • Reduzca el número de predictores en un modelo lineal generalizado.

  • Identifique los predictores importantes.

  • Seleccione entre los predictores redundantes.

  • Produzca estimaciones de contracción con errores predictivos potencialmente más bajos que los mínimos cuadrados ordinarios.

La red elástica es una técnica relacionada. Utilíla cuando tenga varias variables altamente correlacionadas. proporciona una regularización neta elástica al establecer el par nombre-valor en un número estrictamente entre y.lassoglmAlpha01

Para obtener más información sobre los cálculos y algoritmos de red de lazo y elástico, consulte.Lazo de modelo lineal generalizado y elastic net Para ver una explicación de los modelos lineales generalizados, consulte.¿Qué son los modelos lineales generalizados?

Lazo de modelo lineal generalizado y elastic net

Descripción general de Lasso y elastic net

es una técnica de regularización para estimar modelos lineales generalizados.Lazo Lasso incluye un término de penalización que restringe el tamaño de los coeficientes estimados. Por lo tanto, se asemeja.Ridge Regression Lasso es un: genera estimaciones de coeficiente que son tendenciosas para ser pequeñas.estimador de contracción Sin embargo, un estimador de lazo puede tener un error más pequeño que un estimador de máxima probabilidad ordinario cuando se aplica a nuevos datos.

A diferencia de la regresión de cresta, a medida que aumenta el término de penalización, la técnica de lazo establece más coeficientes en cero. Esto significa que el estimador de lazo es un modelo más pequeño, con menos predictores. Como tal, el lazo es una alternativa a y otras técnicas de selección de modelo y reducción de dimensionalidad.regresión escalonado

es una técnica relacionada.Red elástica La red elástica es similar a un híbrido de regresión de cresta y regularización de lazo. Al igual que el lazo, la red elástica puede generar modelos reducidos generando coeficientes de valor cero. Los estudios empíricos sugieren que la técnica de red elástica puede superar el lazo en los datos con predictores altamente correlacionados.

Definición de lazo para modelos lineales generalizados

Para un valor no negativo de, resuelve el problemaλlassoglm

minβ0,β(1NDeviance(β0,β)+λj=1p|βj|).

  • La función desviación en esta ecuación es la desviación del modelo que se ajusta a las respuestas usando la intercepciónβ0 y los coeficientes predictores.β La fórmula para Deviance depende del parámetro que proporcione.distrlassoglm Minimizar la desviación-penalizada equivale a maximizar la logverosimilitud-penalizada.λλ

  • es el número de observaciones.N

  • es un parámetro de regularización no negativo correspondiente a un valor de.λLambda

  • Los parámetrosβ0 y son un escalar y un vector de longitud, respectivamente.βp

Como aumentos, el número de componentes distintos de cero de disminuciones.λβ

El problema del lazo involucra elL1 norma de, como contrastada con el algoritmo de red elástica.β

Definición de red elástica para modelos lineales generalizados

Para estrictamente entre 0 y 1, y la red elástica no negativa resuelve el problemaαλ

minβ0,β(1NDeviance(β0,β)+λPα(β)),

Dónde

Pα(β)=(1α)2β22+αβ1=j=1p((1α)2βj2+α|βj|).

La red elástica es igual que el lazo cuando = 1.α Para otros valores, el plazo de penalizaciónα Pα() interpolar entre elβL1 norma de y el cuadradoβL2 norma de.β Como encoge hacia 0, la red elástica se aproxima a la regresión.αridge

Referencias

[1] Tibshirani, R. Regression Shrinkage and Selection via the Lasso. Journal of the Royal Statistical Society, Series B, Vol. 58, No. 1, pp. 267–288, 1996.

[2] Zou, H. and T. Hastie. Regularization and Variable Selection via the Elastic Net. Journal of the Royal Statistical Society, Series B, Vol. 67, No. 2, pp. 301–320, 2005.

[3] Friedman, J., R. Tibshirani, and T. Hastie. Regularization Paths for Generalized Linear Models via Coordinate Descent. Journal of Statistical Software, Vol. 33, No. 1, 2010. https://www.jstatsoft.org/v33/i01

[4] Hastie, T., R. Tibshirani, and J. Friedman. The Elements of Statistical Learning, 2nd edition. Springer, New York, 2008.

[5] McCullagh, P., and J. A. Nelder. Generalized Linear Models, 2nd edition. Chapman & Hall/CRC Press, 1989.