Esta página aún no se ha traducido para esta versión. Puede ver la versión más reciente de esta página en inglés.

MapReduce

Programming technique for analyzing data sets that do not fit in memory

mapreduce is a programming technique which is suitable for analyzing large data sets that otherwise cannot fit in your computer’s memory. Using a datastore to process the data in small chunks, the technique is composed of a Map phase, which formats the data or performs a precursory calculation, and a Reduce phase, which aggregates all of the results from the Map phase. For more information, see Introducción a MapReduce.

For information about using other products with mapreduce, see Acelere e implemente MapReduce utilizando otros productos.

Funciones

expandir todo

mapreduceProgramming technique for analyzing data sets that do not fit in memory
datastoreCreate datastore for large collections of data
addAdd single key-value pair to KeyValueStore
addmultiAdd multiple key-value pairs to KeyValueStore
hasnextDetermine if ValueIterator has one or more values available
getnextGet next value from ValueIterator
mapreducerDefine execution environment for mapreduce or tall arrays
gcmrGet current mapreducer configuration

Objetos

KeyValueStoreStore key-value pairs for use with mapreduce
ValueIteratorAn iterator over intermediate values for use with mapreduce

Temas

Introducción a MapReduce

Conozca la técnica de programación MapReduce y ejecute un cálculo de ejemplo.

Escribir una función de mapa

Crear una función de mapa para su uso en un algoritmo mapreduce .

Escribir una función reducir

Crear una función de reducción para su uso en un algoritmo mapreduce .

Construya algoritmos eficaces con MapReduce

Resumen de los archivos de ejemplo de mapreduce .

Acelere e implemente MapReduce utilizando otros productos

Capacidades de otros productos para acelerar y compartir algoritmos mapreduce .

Encuentra el valor máximo con MapReduce

En este ejemplo se muestra cómo encontrar el valor máximo de una variable única en un conjunto de datos mediante mapreduce.

Calcule el valor medio con MapReduce

En este ejemplo se muestra cómo calcular la media de una variable única en un conjunto de datos mediante mapreduce.

Crear histogramas mediante MapReduce

En este ejemplo se muestra cómo visualizar los patrones en un conjunto de datos grande sin tener que cargar todas las observaciones en la memoria simultáneamente.

Calcular media por grupo utilizando MapReduce

En este ejemplo se muestra cómo calcular la media por grupo en un conjunto de datos mediante mapreduce.

Subconfiguración simple de datos mediante MapReduce

En este ejemplo se muestra cómo extraer un subconjunto de un conjunto de datos de gran tamaño.

Uso de MapReduce para calcular la covarianza y las cantidades relacionadas

En este ejemplo se muestra cómo calcular la media y la covarianza de varias variables en un conjunto de datos grande mediante mapreduce.

Calcular estadísticas resumidas por grupo utilizando MapReduce

En este ejemplo se muestra cómo calcular las estadísticas de Resumen organizadas por grupo mediante mapreduce.

Uso de MapReduce para adaptarse a un modelo de regresión logística

En este ejemplo se muestra cómo utilizar mapreduce para realizar una simple regresión logística utilizando un solo predictor.

Alta factorización matricial QR (TSQR) con MapReduce

En este ejemplo se muestra cómo calcular una alta factorización QR (TSQR) delgada utilizando mapreduce.

Calcule el HSV medio máximo de imágenes con MapReduce

En este ejemplo se muestra cómo utilizar ImageDatastore y mapreduce para buscar imágenes con valores máximos de tonalidad, saturación y brillo en una colección de imágenes.

Solución de problemas

Algoritmos de depuración MapReduce

En este ejemplo se muestra cómo depurar los algoritmos mapreduce en MATLAB® mediante un simple archivo de ejemplo, MaxMapReduceExample.m. La depuración le permite seguir el movimiento de datos entre las diferentes fases de la ejecución de mapreduce e inspeccionar el estado de todas las variables intermedias.

Ejemplos destacados