MapReduce

Метод программирования для анализа наборов данных, которые не умещаются в памяти

mapreduce метод программирования, который подходит для анализа больших наборов данных, которые в противном случае не могут поместиться в память вашего компьютера. Используя datastore чтобы обработать данные в маленьких фрагментах, метод состоит из фазы Map, которая форматирует данные или выполняет предшествующее вычисление и фазу Reduce, которая агрегирует все результаты от фазы Map. Для получения дополнительной информации смотрите Начало работы с MapReduce.

Для получения информации об использовании других продуктов с mapreduce, смотрите Убыстряются и Развертывают MapReduce Используя Другие продукты.

Функции

развернуть все

mapreduceМетод программирования для анализа наборов данных, которые не умещаются в памяти
datastoreСоздайте datastore для большого количества данных
addДобавьте одну пару "ключ-значение" в KeyValueStore
addmultiДобавление Нескольких Пар ключ/значение к KeyValueStore
hasnextОпределите, имеет ли ValueIterator одно или несколько значений в наличии
getnextПолучите следующее значение от ValueIterator
mapreducerЗадайте среду выполнения для mapreduce или tall arrays
gcmrПолучите текущую mapreducer настройку

Объекты

KeyValueStoreСохраните пары "ключ-значение" для использования с mapreduce
ValueIteratorИтератор по промежуточным значениям для использования с mapreduce

Темы

Начало работы с MapReduce

Узнайте о методе программирования MapReduce и выполните вычисление в качестве примера.

Запись функции карты

Создайте функцию карты для использования в a mapreduce алгоритм.

Запись уменьшать функции

Создайте уменьшать функцию для использования в a mapreduce алгоритм.

Создание эффективных алгоритмов с MapReduce

Сводные данные mapreduce файлы в качестве примера.

Ускорение и развертывание MapReduce Используя другие продукты

Возможности других продуктов убыстриться и совместно использовать mapreduce алгоритмы.

Нахождение максимального значения с MapReduce

В этом примере показано, как найти максимальное значение одной переменной в наборе данных с помощью mapreduce.

Вычисление среднего значения с MapReduce

В этом примере показано, как вычислить среднее значение одной переменной в наборе данных с помощью mapreduce.

Создание гистограмм Используя MapReduce

В этом примере показано, как визуализировать шаблоны в большом наборе данных, не имея необходимость загружать все наблюдения в память одновременно.

Вычислите подразумевают под группой Используя MapReduce

В этом примере показано, как вычислить среднее значение группой в наборе данных с помощью mapreduce.

Простое подмножество данных Используя MapReduce

В этом примере показано, как извлечь подмножество большого набора данных.

Используя MapReduce, чтобы вычислить ковариацию и связанные количества

В этом примере показано, как вычислить среднее значение и ковариацию для нескольких переменных в большом наборе данных с помощью mapreduce.

Вычисление сводной статистики группы Используя MapReduce

В этом примере показано, как вычислить итоговую статистику, организованную группой, использующей mapreduce.

Используя MapReduce, чтобы соответствовать модели логистической регрессии

В этом примере показано, как использовать mapreduce выполнить простую логистическую регрессию с помощью одного предиктора.

Высокий тощий QR (TSQR) матричная факторизация Используя MapReduce

В этом примере показано, как вычислить высокий тощий QR (TSQR) факторизация с помощью mapreduce.

Вычисление максимального среднего HSV изображений с MapReduce

В этом примере показано, как использовать ImageDatastore и mapreduce найти изображения с максимальным оттенком, степенями насыщения и значениями яркости в коллекции изображений.

Поиск и устранение проблем

Отладка алгоритмов MapReduce

В этом примере показано, как отладить ваш mapreduce алгоритмы в MATLAB® с помощью простого файла в качестве примера, MaxMapReduceExample.m. Отладка позволяет вам следовать за перемещением данных между различными фазами mapreduce выполнение и смотрит состояние всех промежуточных переменных.

Рекомендуемые примеры