MapReduce
mapreduce является методом программирования, который подходит для анализа больших наборов данных, которые в противном случае не могут поместиться в память вашего компьютера. Используя datastore, чтобы обработать данные в маленьких фрагментах, метод состоит из фазы Map, которая форматирует данные или выполняет предшествующее вычисление и фазу Reduce, которая агрегирует все результаты от фазы Map. Для получения дополнительной информации смотрите Начало работы с MapReduce.
Для получения информации об использовании других продуктов с mapreduce смотрите, Убыстряются и Развертывают MapReduce Используя Другие продукты.
Функции
Объекты
KeyValueStore | Сохраните пары "ключ-значение" для использования с mapreduce |
ValueIterator | Итератор по промежуточным значениям для использования с mapreduce |
Темы
Узнайте о методе программирования MapReduce и выполните вычисление в качестве примера.
Создайте функцию карты для использования в алгоритме mapreduce.
Создайте уменьшать функцию для использования в алгоритме mapreduce.
Создание эффективных алгоритмов с MapReduce
Сводные данные файлов mapreduce в качестве примера.
Ускорение и развертывание MapReduce Используя другие продукты
Возможности других продуктов убыстриться и совместно использовать алгоритмы mapreduce.
Нахождение максимального значения с MapReduce
Этот пример показывает, как найти максимальное значение одной переменной в наборе данных с помощью mapreduce.
Вычисление среднего значения с MapReduce
Этот пример показывает, как вычислить среднее значение одной переменной в наборе данных с помощью mapreduce.
Создание гистограмм Используя MapReduce
Этот пример показывает, как визуализировать шаблоны в большом наборе данных, не имея необходимость загружать все наблюдения в память одновременно.
Вычислите подразумевают под группой Используя MapReduce
Этот пример показывает, как вычислить среднее значение группой в наборе данных с помощью mapreduce.
Простое подмножество данных Используя MapReduce
Этот пример показывает, как извлечь подмножество большого набора данных.
Используя MapReduce, чтобы вычислить ковариацию и связанные количества
Этот пример показывает, как вычислить среднее значение и ковариацию для нескольких переменных в большом наборе данных с помощью mapreduce.
Вычисление сводной статистики группы Используя MapReduce
Этот пример показывает, как вычислить итоговую статистику, организованную группой, использующей mapreduce.
Используя MapReduce, чтобы соответствовать модели логистической регрессии
Этот пример показывает, как использовать mapreduce, чтобы выполнить простую логистическую регрессию с помощью одного предиктора.
Высокий тощий QR (TSQR) матричная факторизация Используя MapReduce
Этот пример показывает, как вычислить высокий тощий QR (TSQR) факторизация с помощью mapreduce.
Вычисление максимального среднего HSV изображений с MapReduce
Этот пример показывает, как использовать ImageDatastore и mapreduce, чтобы найти изображения с максимальным оттенком, степенями насыщения и значениями яркости в наборе изображений.
Поиск и устранение проблем
Этот пример показывает, как отладить ваши алгоритмы mapreduce в MATLAB® с помощью простого файла в качестве примера, MaxMapReduceExample.m. Отладка позволяет вам следовать за перемещением данных между различными фазами выполнения mapreduce и осмотреть состояние всех промежуточных переменных.
