Archivos de gran tamaño y big data

Los conjuntos de datos de gran tamaño pueden presentarse como archivos de gran tamaño que no caben en la memoria disponible o archivos que tardan mucho en procesarse. Un conjunto de datos de gran tamaño también puede ser una recopilación de numerosos archivos pequeños. No existe un enfoque único acerca de cómo trabajar con conjuntos de datos de gran tamaño, por lo que MATLAB^® incluye varias herramientas para acceder a datos de gran tamaño y procesarlos.

Comience creando un almacén de datos que le permita acceder a pequeñas secciones de datos cada vez. Puede utilizar el almacén de datos para gestionar la importación incremental de los datos. Para analizar los datos mediante el uso de funciones comunes de MATLAB, como mean e histogram, cree un arreglo alto además del almacén de datos. Para otros problemas más complejos, puede escribir un algoritmo MapReduce que defina la fragmentación y la reducción de los datos.