MapReduce
mapreduce - метод программирования, подходящий для анализа больших наборов данных, которые в противном случае не помещаются в памяти вашего компьютера. Использование datastore для обработки данных в небольших фрагментах метод состоит из фазы Map, которая форматирует данные или выполняет предварительное вычисление, и фазы Reduce, которая агрегирует все результаты фазы Map. Дополнительные сведения см. в разделе Начало работы с MapReduce.
Для получения информации об использовании других продуктов с mapreduce, см. «Ускорение и развертывание MapReduce с использованием других продуктов».
Функции
Объекты
KeyValueStore | Сохраните пары "ключ-значение" для использования с mapreduce |
ValueIterator | Итератор по промежуточным значениям для использования с mapreduce |
Темы
Узнайте о методе программирования MapReduce и запустите пример вычисления.
Создайте функцию map для использования в mapreduce алгоритм.
Создайте функцию сокращения для использования в a mapreduce алгоритм.
Создайте эффективные алгоритмы с MapReduce
Сводные данные mapreduce файлы примера.
Ускорение и развертывание MapReduce с использованием других продуктов
Возможности других продуктов для ускорения и совместного использования mapreduce алгоритмы.
Нахождение максимального значения с помощью MapReduce
В этом примере показано, как найти максимальное значение одной переменной в наборе данных с помощью mapreduce.
Вычисление среднего значения с помощью MapReduce
В этом примере показано, как вычислить среднее значение одной переменной в наборе данных с помощью mapreduce.
Создайте гистограммы с использованием MapReduce
Этот пример показывает, как визуализировать шаблоны в большом наборе данных, не загружая все наблюдения в память одновременно.
Вычисление среднего по группам с использованием MapReduce
В этом примере показано, как вычислить среднее значение по группам в наборе данных с помощью mapreduce.
Простая подстановка данных с использованием MapReduce
В этом примере показано, как извлечь подмножество большого набора данных.
Использование MapReduce для вычисления ковариационных и смежных величин
В этом примере показано, как вычислить среднее значение и ковариацию для нескольких переменных в большом наборе данных с помощью mapreduce.
Вычисление сводной статистики по группам с использованием MapReduce
В этом примере показано, как вычислить итоговую статистику, организованную по группам с помощью mapreduce.
Использование MapReduce для подбора модели логистической регрессии
В этом примере показано, как использовать mapreduce проведение простой логистической регрессии с использованием одного предиктора.
Факторизация матрицы Tall Skinny QR (TSQR) с использованием MapReduce
В этом примере показано, как вычислить факторизацию tall skinny QR (TSQR) с помощью mapreduce.
Вычисление максимального среднего HSV изображений с помощью MapReduce
В этом примере показано, как использовать ImageDatastore и mapreduce для поиска изображений с максимальным оттенком, насыщением и яркости в коллекции изображений.
Поиск и устранение проблем
В этом примере показано, как выполнить отладку mapreduce алгоритмы в MATLAB® используя простой файл примера, MaxMapReduceExample.m. Отладка позволяет вам следить за перемещением данных между различными фазами mapreduce выполнение и проверка состояния всех промежуточных переменных.
