fastBERTtokens: Tokenizing for BERT in parallel

This function simply divides your text into batches, and tokenizes in parallel. Provides significant speed-up.

Versión (1,43 KB)
41 Descargas
(0)
24 feb 2023
Descargar

  • Install in MATLAB

    Requires R2026b and later. Learn more
Descargar

  • Install in MATLAB

    Requires R2026b and later. Learn more

Ahora está siguiendo esta publicación

Citar como

Ralf Elsas (2026). fastBERTtokens: Tokenizing for BERT in parallel (https://es.mathworks.com/matlabcentral/fileexchange/125295-fastberttokens-tokenizing-for-bert-in-parallel), MATLAB Central File Exchange. Recuperado .

Agradecimientos

Inspirado por: Transformer Models

Información general

Compatibilidad con la versión de MATLAB

  • Compatible con cualquier versión desde R2021a

Compatibilidad con las plataformas

  • Windows
  • macOS
  • Linux
Abrir en una nueva pestaña
Versión Publicado Notas de la versión
1.0.0

Descargar

  • Install in MATLAB

    Requires R2026b and later. Learn more