Archivos de gran tamaño y big data
Los conjuntos de datos de gran tamaño pueden presentarse como archivos de gran tamaño que no caben en la memoria disponible o archivos que tardan mucho en procesarse. Un conjunto de datos de gran tamaño también puede ser una recopilación de numerosos archivos pequeños. No existe un enfoque único acerca de cómo trabajar con conjuntos de datos de gran tamaño, por lo que MATLAB® incluye varias herramientas para acceder a datos de gran tamaño y procesarlos.
Comience creando un almacén de datos que le permita acceder a pequeñas secciones de datos cada vez. Puede utilizar el almacén de datos para gestionar la importación incremental de los datos. Para analizar los datos mediante el uso de funciones comunes de MATLAB, como mean
e histogram
, cree un arreglo alto además del almacén de datos. Para otros problemas más complejos, puede escribir un algoritmo MapReduce que defina la fragmentación y la reducción de los datos.
Categorías
- Función Datastore
Lea grandes recopilaciones de datos
- Arreglos altos
Arreglos con más filas de las que caben en la memoria
- MapReduce
Técnica de programación para analizar conjuntos de datos que no caben en la memoria
- Archivos MAT de gran tamaño
Acceda a variables y modifíquelas sin cargarlas en la memoria
- Archivos Parquet
Lea y escriba archivos Parquet
- Asignación de memoria
Asigne datos de archivo a la memoria para un acceso más rápido