Main Content

Esta página aún no se ha traducido para esta versión. Puede ver la versión más reciente de esta página en inglés.

Función Datastore

Leer grandes recopilaciones de datos

La función datastore crea un almacén de datos, que es un repositorio de recopilaciones de datos que, por su gran tamaño, no caben en la memoria. Un almacén de datos permite leer y procesar los datos almacenados en varios archivos de un disco, una ubicación remota o una base de datos como una entidad única. Si el tamaño de los datos es demasiado grande para la capacidad de la memoria, usted puede administrar la importación incremental de datos, crear un arreglo tall (alto) para trabajar con los datos o utilizar el almacén de datos como entrada para que mapreduce continúe con el procesamiento. Para obtener más información, consulte Introducción a los almacenes de datos.

Funciones

expandir todo

datastoreCreate datastore for large collections of data
tabularTextDatastoreDatastore for tabular text files
spreadsheetDatastoreDatastore for spreadsheet files
imageDatastoreDatastore for image data
parquetDatastoreDatastore for collection of Parquet files
fileDatastoreDatastore with custom file reader
readRead data in datastore
readallRead all data in datastore
previewPreview subset of data in datastore
hasdataDetermine if data is available to read
resetReset datastore to initial state
writeallWrite datastore to files
shuffleShuffle all data in datastore
isShuffleableDetermine whether datastore is shuffleable
numpartitionsNumber of datastore partitions
partitionPartition a datastore
isPartitionableDetermine whether datastore is partitionable

Funciones

combineCombine data from multiple datastores
transformTransform datastore

Objetos

CombinedDatastoreDatastore to combine data read from multiple underlying datastores
TransformedDatastoreDatastore to transform underlying datastore
KeyValueDatastoreDatastore for key-value pair data for use with mapreduce
TallDatastoreDatastore for checkpointing tall arrays

Clases

expandir todo

matlab.io.Datastore Base datastore class
matlab.io.datastore.PartitionableAdd parallelization support to datastore
matlab.io.datastore.HadoopLocationBased Add Hadoop support to datastore
matlab.io.datastore.ShuffleableAdd shuffling support to datastore
matlab.io.datastore.DsFileSet File-set object for collection of files in datastore
matlab.io.datastore.DsFileReader File-reader object for files in a datastore
matlab.io.datastore.FileWritableAdd file writing support to datastore
matlab.io.datastore.FoldersPropertyProviderAdd Folder property support to datastore
matlab.io.datastore.FileSet File-set for collection of files in datastore
matlab.io.datastore.BlockedFileSet Blocked file-set for collection of blocks within file

Temas

Introducción a los almacenes de datos

Un almacén de datos es un objeto para la lectura de un único archivo o una recopilación de archivos o datos.

Select Datastore for File Format or Application

Choose the right datastore based on the file format of your data or application.

Read and Analyze Large Tabular Text File

This example shows how to create a datastore for a large text file containing tabular data, and then read and process the data one block at a time or one file at a time.

Read and Analyze Image Files

This example shows how to create a datastore for a collection of images, read the image files, and find the images with the maximum average hue, saturation, and brightness (HSV).

Read and Analyze MAT-File with Key-Value Data

This example shows how to create a datastore for key-value pair data in a MAT-file that is the output of mapreduce.

Read and Analyze Hadoop Sequence File

This example shows how to create a datastore for a Sequence file containing key-value data.

Trabajar con datos remotos

Trabaje con datos remotos en Amazon S3™, Microsoft® Azure® Storage Blob o HDFS™.

Set Up Datastore for Processing on Different Machines or Clusters

Setup a datastore on your machine that can be loaded and processed on another machine or cluster.

Develop Custom Datastore

Create a fully customized datastore for your custom or proprietary data.

Develop Custom Datastore for DICOM Data

This example shows how to develop a custom datastore that supports writing operations.

Testing Guidelines for Custom Datastores

After implementing your custom datastore, follow this test procedure to qualify your custom datastore.