geluLayer

Capa de unidad lineal de error gaussiano (GELU)

Desde R2022b

Descripción

Una capa de unidad lineal de error gaussiano (GELU) pondera la entrada según su probabilidad en una distribución gaussiana.

Esta operación viene dada por

$$\text{GELU}(x)=\frac{x}{2}\left(1+\text{}\text{erf}\left(\frac{x}{\sqrt{2}}\right)\right),$$

donde erf denota la función de error.

Creación

Sintaxis

layer = geluLayer

layer = geluLayer(Name=Value)

Descripción

layer = geluLayer devuelve una capa GELU.

layer = geluLayer(Name=Value) establece las propiedades opcionales Approximation y Name usando argumentos nombre-valor. Por ejemplo, geluLayer(Name="gelu") crea una capa GELU con el nombre "gelu".

Propiedades

GELU

Approximation — Método de aproximación para operaciones GELU

'none' (predeterminado) | 'tanh'

Método de aproximación para operaciones GELU, especificado como uno de estos valores:

• 'none': no usa aproximación.

• 'tanh': aproxima la función de error subyacente utilizando

  $$\text{erf}\left(\frac{x}{\sqrt{2}}\right)\approx \text{tanh}\left(\sqrt{\frac{2}{\pi }}\left(x+0.044715x^3\right)\right).$$

Sugerencia

En MATLAB^®, calcular la aproximación de tanh es, por lo general, menos preciso y, en tamaños de entrada grandes, más lento que calcular la activación GELU sin usar una aproximación. Utilice la aproximación de tanh cuando desee reproducir modelos que usan esta aproximación, como BERT y GPT-2.

Capa

Name — Nombre de la capa

'' (predeterminado) | vector de caracteres | escalar de cadena

Nombre de la capa, especificado como un vector de caracteres o un escalar de cadena. Para entradas de arreglos Layer, las funciones trainnet y dlnetwork asignan automáticamente nombres a las capas sin nombre.

El objeto GELULayer almacena esta propiedad como un vector de caracteres.

Tipos de datos: char | string

NumInputs — Número de entradas

Solo lectura: 1 (predeterminado)

Esta propiedad o parámetro es de solo lectura.

Número de entradas a la capa, almacenado como 1. Esta capa solo admite una entrada.

Tipos de datos: double

InputNames — Nombres de las entradas

Solo lectura: {'in'} (predeterminado)

Esta propiedad o parámetro es de solo lectura.

Nombres de entrada, almacenados como {'in'}. Esta capa solo admite una entrada.

Tipos de datos: cell

NumOutputs — Número de salidas

Solo lectura: 1 (predeterminado)

Esta propiedad o parámetro es de solo lectura.

Número de salidas de la capa, almacenado como 1. Esta capa solo tiene una salida.

Tipos de datos: double

OutputNames — Nombres de salida

Solo lectura: {'out'} (predeterminado)

Esta propiedad o parámetro es de solo lectura.

Nombres de salida, almacenados como {'out'}. Esta capa solo tiene una salida.

Tipos de datos: cell

Ejemplos

Crear una capa GELU

Cree una capa GELU.

layer = geluLayer

layer = 
  GELULayer with properties:

             Name: ''

   Hyperparameters
    Approximation: 'none'

Incluya una capa GELU en un arreglo Layer.

layers = [
    imageInputLayer([28 28 1])
    convolution2dLayer(5,20)
    geluLayer
    maxPooling2dLayer(2,Stride=2)
    fullyConnectedLayer(10)
    softmaxLayer]

layers = 
  6×1 Layer array with layers:

     1   ''   Image Input       28×28×1 images with 'zerocenter' normalization
     2   ''   2-D Convolution   20 5×5 convolutions with stride [1  1] and padding [0  0  0  0]
     3   ''   GELU              GELU
     4   ''   2-D Max Pooling   2×2 max pooling with stride [2  2] and padding [0  0  0  0]
     5   ''   Fully Connected   10 fully connected layer
     6   ''   Softmax           softmax

Algoritmos

Activación de unidad lineal de error gaussiano

La operación de activación de unidad lineal de error gaussiano (GELU) pondera la entrada según su probabilidad en una distribución gaussiana.

Esta operación viene dada por

$$\text{GELU}(x)=\frac{x}{2}\left(1+\text{}\text{erf}\left(\frac{x}{\sqrt{2}}\right)\right),$$

donde erf denota la función de error dada por

$$\text{erf}(x)=\frac{2}{\sqrt{\pi }}{\displaystyle {\int }_0^x{e}^{-t^2}dt}.$$

Cuando la opción Approximation es "tanh", el software aproxima la función de error utilizando

$$\text{erf}\left(\frac{x}{\sqrt{2}}\right)\approx \text{tanh}\left(\sqrt{\frac{2}{\pi }}\left(x+0.044715x^3\right)\right).$$

Formatos de entrada y salida de capa

Las capas en un arreglo de capas o en una gráfica de capas pasan datos a las capas posteriores como objetos dlarray con formato. El formato de un objeto dlarray es una cadena de caracteres, en la que cada carácter describe la dimensión correspondiente de los datos. El formato consta de uno o más de estos caracteres:

• "S": espacial

• "C": canal

• "B": lote

• "T": tiempo

• "U": sin especificar

Por ejemplo, puede describir los datos de imagen 2D que están representados como arreglo 4D, donde las dos primeras dimensiones corresponden a las dimensiones espaciales de las imágenes, la tercera dimensión corresponde a los canales de las imágenes y la cuarta dimensión corresponde a la dimensión de lote, como datos con formato "SSCB" (espacial, espacial, canal, lote).

Los objetos GELULayer aplican una operación elemento por elemento y admiten datos de entrada de cualquier formato. La capa no agrega ni elimina ninguna dimensión, por lo que genera datos con el mismo formato que sus datos de entrada.

Referencias

[1] Hendrycks, Dan, and Kevin Gimpel. "Gaussian error linear units (GELUs)." Preprint, submitted June 27, 2016. https://arxiv.org/abs/1606.08415

Capacidades ampliadas

Generación de código C/C++
Genere código C y C++ mediante MATLAB® Coder™.

Generación de código de GPU
Genere código CUDA® para GPU NVIDIA® mediante GPU Coder™.

Historial de versiones

Introducido en R2022b

R2023b: Compatibilidad con la generación de código

Genere código C o C++ usando MATLAB Coder™ o genere código CUDA^® para GPU NVIDIA^® usando GPU Coder™.

Consulte también

trainnet | trainingOptions | dlnetwork | fullyConnectedLayer | imageInputLayer | sequenceInputLayer

Temas

• Entrenar una red neuronal con datos tabulares
• Crear una red neuronal de deep learning sencilla para clasificación
• Entrenar una red neuronal convolucional para regresión
• Deep learning en MATLAB
• Lista de capas de deep learning