Esta página aún no se ha traducido para esta versión. Puede ver la versión más reciente de esta página en inglés.

MapReduce

Técnica de programación para analizar conjuntos de datos que no caben en la memoria

mapreduce es una técnica de programación adecuada para analizar conjuntos de datos de gran tamaño que, de lo contrario, no cabrían en la memoria de su equipo. Al utilizar datastore para procesar los datos en pequeñas partes, se aplica una técnica que consta de una fase de asignación, donde se da formato a los datos o se realiza un cálculo precursor, y una fase de reducción, donde se agregan todos los resultados provenientes de la fase de asignación. Para obtener más información, consulte Introducción a MapReduce.

Para obtener información sobre cómo usar otros productos con mapreduce, consulte Acelere e implemente MapReduce con otros productos.

Funciones

expandir todo

mapreduceProgramming technique for analyzing data sets that do not fit in memory
datastoreCreate datastore for large collections of data
addAdd single key-value pair to KeyValueStore
addmultiAdd multiple key-value pairs to KeyValueStore
hasnextDetermine if ValueIterator has one or more values available
getnextGet next value from ValueIterator
mapreducerDefine execution environment for mapreduce or tall arrays
gcmrGet current mapreducer configuration

Objetos

KeyValueStoreStore key-value pairs for use with mapreduce
ValueIteratorAn iterator over intermediate values for use with mapreduce

Temas

Introducción a MapReduce

Obtenga información sobre la técnica de programación MapReduce y ejecute un cálculo de ejemplo.

Escriba una función de mapa

Cree una función de mapa para utilizarla en un algoritmo.mapreduce

Escriba una función de reducción

Cree una función de reducción para utilizarla en un algoritmo.mapreduce

Construya algoritmos efectivos con MapReduce

Resumen de archivos de ejemplo.mapreduce

Acelere e implemente MapReduce con otros productos

Capacidades de otros productos para acelerar y compartir algoritmos.mapreduce

Buscar valor máximo con MapReduce

En este ejemplo se muestra cómo encontrar el valor máximo de una sola variable en un conjunto de datos mediante.mapreduce Demuestra el uso más simple de puesto que sólo hay una clave y un cálculo mínimo.mapreduce

Calcular valor medio con MapReduce

En este ejemplo se muestra cómo calcular la media de una sola variable en un conjunto de datos mediante.mapreduce Muestra un uso simple de una clave, un cálculo mínimo y un estado intermedio (acumulando suma intermedia y recuento).mapreduce

Crear histogramas con MapReduce

Este ejemplo muestra cómo visualizar patrones en un conjunto de datos de gran tamaño sin tener que cargar todas las observaciones en la memoria simultáneamente.

Calcular la media por grupo usando MapReduce

En este ejemplo se muestra cómo calcular la media por grupo en un conjunto de datos mediante.mapreduce Muestra cómo realizar cálculos en subgrupos de datos.

Subconfiguración simple de datos con MapReduce

En este ejemplo se muestra cómo extraer un subconjunto de un conjunto de datos grande.

Uso de MapReduce para calcular la covarianza y las cantidades relacionadas

Este ejemplo muestra cómo calcular la media y la covarianza para varias variables en un conjunto de datos grande usando.mapreduce A continuación, utiliza la covarianza para realizar varios cálculos de seguimiento que no requieren otra iteración en todo el conjunto de datos.

Calcular estadísticas de resumen por grupo mediante MapReduce

En este ejemplo se muestra cómo calcular estadísticas de Resumen organizadas por grupo mediante.mapreduce Muestra el uso de una función anónima para pasar un parámetro de agrupación adicional a una función de asignación parametrizada.

Uso de MapReduce para ajustar un modelo de regresión logística

Este ejemplo muestra cómo utilizar para llevar a cabo la regresión logística simple mediante un predictor único.mapreduce Muestra el encadenamiento de varias llamadas para llevar a cabo un algoritmo iterativo.mapreduce Dado que cada iteración requiere un paso independiente a través de los datos, una función anónima pasa información de una iteración a la siguiente para proporcionar información directamente al asignador.

Factorización de matriz de alta Skinny QR (TSQR) usando MapReduce

Este ejemplo muestra cómo calcular una factorización alta de QR (TSQR) delgada usando.mapreduce Muestra cómo encadenar llamadas para realizar varias iteraciones de factorizaciones y usa el argumento de la función Map para calcular las claves numéricas.mapreduceinfo

Calcular el HSV promedio máximo de imágenes con MapReduce

En este ejemplo se muestra cómo usar y buscar imágenes con valores máximos de matiz, saturación y brillo en una colección de imagen.ImageDatastoremapreduce

Solución de problemas

Depurar algoritmos de MapReduce

Este ejemplo muestra cómo depurar los algoritmos en el uso de un archivo de ejemplo simple,.mapreduceMATLAB®MaxMapReduceExample.m La depuración le permite seguir el movimiento de datos entre las diferentes fases de ejecución e inspeccionar el estado de todas las variables intermedias.mapreduce

Ejemplos destacados