MapReduce

Метод программирования для анализа наборов данных, которые не помещаются в памяти

mapreduce - метод программирования, подходящий для анализа больших наборов данных, которые в противном случае не помещаются в памяти вашего компьютера. Использование datastore для обработки данных в небольших фрагментах метод состоит из фазы Map, которая форматирует данные или выполняет предварительное вычисление, и фазы Reduce, которая агрегирует все результаты фазы Map. Дополнительные сведения см. в разделе Начало работы с MapReduce.

Для получения информации об использовании других продуктов с mapreduce, см. «Ускорение и развертывание MapReduce с использованием других продуктов».

Функции

расширить все

mapreduceМетод программирования для анализа наборов данных, которые не помещаются в памяти
datastoreСоздайте datastore для больших наборов данных
addДобавьте одну пару "ключ-значение" в KeyValueStore
addmultiДобавьте несколько пары "ключ-значение" к KeyValueStore
hasnextОпределите, имеет ли ValueIterator одно или несколько доступных значений
getnextПолучите следующее значение от ValueIterator
mapreducerЗадайте окружение выполнения для mapreduce или длинные массивы
gcmrПолучите текущее строение mapreducer

Объекты

KeyValueStoreСохраните пары "ключ-значение" для использования с mapreduce
ValueIteratorИтератор по промежуточным значениям для использования с mapreduce

Темы

Начало работы с MapReduce

Узнайте о методе программирования MapReduce и запустите пример вычисления.

Написание функции Map

Создайте функцию map для использования в mapreduce алгоритм.

Написание функции сокращения

Создайте функцию сокращения для использования в a mapreduce алгоритм.

Создайте эффективные алгоритмы с MapReduce

Сводные данные mapreduce файлы примера.

Ускорение и развертывание MapReduce с использованием других продуктов

Возможности других продуктов для ускорения и совместного использования mapreduce алгоритмы.

Нахождение максимального значения с помощью MapReduce

В этом примере показано, как найти максимальное значение одной переменной в наборе данных с помощью mapreduce.

Вычисление среднего значения с помощью MapReduce

В этом примере показано, как вычислить среднее значение одной переменной в наборе данных с помощью mapreduce.

Создайте гистограммы с использованием MapReduce

Этот пример показывает, как визуализировать шаблоны в большом наборе данных, не загружая все наблюдения в память одновременно.

Вычисление среднего по группам с использованием MapReduce

В этом примере показано, как вычислить среднее значение по группам в наборе данных с помощью mapreduce.

Простая подстановка данных с использованием MapReduce

В этом примере показано, как извлечь подмножество большого набора данных.

Использование MapReduce для вычисления ковариационных и смежных величин

В этом примере показано, как вычислить среднее значение и ковариацию для нескольких переменных в большом наборе данных с помощью mapreduce.

Вычисление сводной статистики по группам с использованием MapReduce

В этом примере показано, как вычислить итоговую статистику, организованную по группам с помощью mapreduce.

Использование MapReduce для подбора модели логистической регрессии

В этом примере показано, как использовать mapreduce проведение простой логистической регрессии с использованием одного предиктора.

Факторизация матрицы Tall Skinny QR (TSQR) с использованием MapReduce

В этом примере показано, как вычислить факторизацию tall skinny QR (TSQR) с помощью mapreduce.

Вычисление максимального среднего HSV изображений с помощью MapReduce

В этом примере показано, как использовать ImageDatastore и mapreduce для поиска изображений с максимальным оттенком, насыщением и яркости в коллекции изображений.

Поиск и устранение проблем

Отладка алгоритмов MapReduce

В этом примере показано, как выполнить отладку mapreduce алгоритмы в MATLAB® используя простой файл примера, MaxMapReduceExample.m. Отладка позволяет вам следить за перемещением данных между различными фазами mapreduce выполнение и проверка состояния всех промежуточных переменных.

Рекомендуемые примеры

Для просмотра документации необходимо авторизоваться на сайте