exponenta event banner

MapReduce

Методика программирования для анализа наборов данных, не помещающихся в память

mapreduce это метод программирования, который подходит для анализа больших наборов данных, которые в противном случае не могут поместиться в память вашего компьютера. Использование datastore для обработки данных небольшими порциями метод состоит из фазы Map, которая форматирует данные или выполняет предварительный расчет, и фазы Reduct, которая агрегирует все результаты фазы Map. Дополнительные сведения см. в разделе Начало работы с MapReduce.

Для получения информации об использовании других продуктов с mapreduceсм. раздел Ускорение и развертывание MapReduce с использованием других продуктов.

Функции

развернуть все

mapreduceМетодика программирования для анализа наборов данных, не помещающихся в память
datastoreСоздание хранилища данных для больших коллекций данных
addДобавление одной пары ключ-значение в KeyStartStore
addmultiДобавление нескольких пар «ключ-значение» в KeyStartStore
hasnextОпределите, имеет ли ValueIterator одну или несколько ценностей в наличии
getnextПолучение следующего значения из StartIterator
mapreducerОпределение среды выполнения для массивов mapreduction или tall
gcmrПолучить текущую конфигурацию mapreducer

Объекты

KeyValueStoreХранить пары ключ-значение для использования с mapreduction
ValueIteratorИтератор над промежуточными значениями для использования с mapreduct

Темы

Начало работы с MapReduce

Узнайте о технике программирования MapReduce и запустите пример расчета.

Запись функции отображения

Создание функции карты для использования в mapreduce алгоритм.

Запись функции уменьшения

Создание функции сокращения для использования в mapreduce алгоритм.

Создание эффективных алгоритмов с помощью MapReduce

Резюме mapreduce примеры файлов.

Ускорение и развертывание MapУменьшите использование других продуктов

Возможности других продуктов для ускорения и совместного использования mapreduce алгоритмы.

Поиск максимального значения с помощью MapReduce

В этом примере показано, как найти максимальное значение одной переменной в наборе данных с помощью mapreduce.

Вычислить среднее значение с помощью MapReduce

В этом примере показано, как вычислить среднее значения одной переменной в наборе данных с помощью mapreduce.

Создание гистограмм с помощью MapReduce

В этом примере показано, как визуализировать шаблоны в большом наборе данных без одновременной загрузки всех наблюдений в память.

Вычислить среднее по группам с помощью MapReduce

В этом примере показано, как вычислить среднее значение по группам в наборе данных с помощью mapreduce.

Простой подсчет данных с помощью MapReduce

В этом примере показано, как извлечь подмножество большого набора данных.

Использование MapReduce для вычисления ковариации и связанных величин

В этом примере показано, как вычислить среднее значение и ковариацию для нескольких переменных в большом наборе данных с помощью mapreduce.

Расчет сводной статистики по группам с использованием MapReduce

В этом примере показано, как вычислить сводную статистику, организованную по группам с помощью mapreduce.

Использование MapReduce для соответствия модели логистической регрессии

В этом примере показано, как использовать mapreduce для выполнения простой логистической регрессии с использованием одного предиктора.

Факторизация матрицы высокого тонкого QR (TSQR) с использованием MapReduce

В этом примере показано, как вычислить факторизацию высокого тощего QR (TSQR) с помощью mapreduce.

Вычисление максимального среднего HSV изображений с помощью MapReduce

В этом примере показано, как использовать ImageDatastore и mapreduce поиск изображений с максимальными значениями оттенка, насыщенности и яркости в коллекции изображений.

Поиск неисправностей

Отладка алгоритмов MapReduce

В этом примере показано, как отладить mapreduce алгоритмы в MATLAB ® с использованием простого примера файла ,MaxMapReduceExample.m. Отладка позволяет отслеживать перемещение данных между различными фазами mapreduce выполнение и проверка состояния всех промежуточных переменных.

Характерные примеры