MapReduce
mapreduce метод программирования, который подходит для анализа больших наборов данных, которые в противном случае не могут поместиться в память вашего компьютера. Используя datastore чтобы обработать данные в маленьких фрагментах, метод состоит из фазы Map, которая форматирует данные или выполняет предшествующее вычисление и фазу Reduce, которая агрегирует все результаты от фазы Map. Для получения дополнительной информации смотрите Начало работы с MapReduce.
Для получения информации об использовании других продуктов с mapreduce, смотрите Убыстряются и Развертывают MapReduce Используя Другие продукты.
Функции
Объекты
KeyValueStore | Сохраните пары "ключ-значение" для использования с mapreduce |
ValueIterator | Итератор по промежуточным значениям для использования с mapreduce |
Темы
Узнайте о методе программирования MapReduce и выполните вычисление в качестве примера.
Создайте функцию карты для использования в mapreduce алгоритм.
Создайте уменьшать функцию для использования в mapreduce алгоритм.
Создание эффективных алгоритмов с MapReduce
Сводные данные mapreduce файлы в качестве примера.
Ускорение и развертывание MapReduce Используя другие продукты
Возможности других продуктов убыстриться и совместно использовать mapreduce алгоритмы.
Нахождение максимального значения с MapReduce
В этом примере показано, как найти максимальное значение одной переменной в наборе данных с помощью mapreduce.
Вычисление среднего значения с MapReduce
В этом примере показано, как вычислить среднее значение одной переменной в наборе данных с помощью mapreduce.
Создание гистограмм Используя MapReduce
В этом примере показано, как визуализировать шаблоны в большом наборе данных, не имея необходимость загружать все наблюдения в память одновременно.
Вычислите подразумевают под группой Используя MapReduce
В этом примере показано, как вычислить среднее значение группой в наборе данных с помощью mapreduce.
Простое подмножество данных Используя MapReduce
В этом примере показано, как извлечь подмножество большого набора данных.
Используя MapReduce, чтобы вычислить ковариацию и связанные количества
В этом примере показано, как вычислить среднее значение и ковариацию для нескольких переменных в большом наборе данных с помощью mapreduce.
Вычисление сводной статистики группы Используя MapReduce
В этом примере показано, как вычислить итоговую статистику, организованную группой, использующей mapreduce.
Используя MapReduce, чтобы соответствовать модели логистической регрессии
В этом примере показано, как использовать mapreduce выполнить простую логистическую регрессию с помощью одного предиктора.
Высокий тощий QR (TSQR) матричная факторизация Используя MapReduce
В этом примере показано, как вычислить высокий тощий QR (TSQR) факторизация с помощью mapreduce.
Вычисление максимального среднего HSV изображений с MapReduce
В этом примере показано, как использовать ImageDatastore и mapreduce найти изображения с максимальным оттенком, степенями насыщения и значениями яркости в коллекции изображений.
Поиск и устранение проблем
В этом примере показано, как отладить ваш mapreduce алгоритмы в MATLAB® с помощью простого файла в качестве примера, MaxMapReduceExample.m. Отладка позволяет вам следовать за перемещением данных между различными фазами mapreduce выполнение и смотрит состояние всех промежуточных переменных.
