"Высокие" массивы

Массивы с большим количеством строк, чем умещаются в памяти

Tall array обеспечивают способ работать с данными, поддерживаемыми datastore, который может иметь миллионы или миллиарды строк. Можно создать tall array как численный , cell array, categorical, string, datetimes, durations или calendar durations, и можно использовать любой из этих высоких типов как переменные в tall table или tall timetable. Много операций и функций работают одинаково с длинными массивами, как они делают с массивами MATLAB® в оперативной памяти, но большинство результатов оценено только, когда вы запрашиваете их явным образом использование gather. MATLAB автоматически оптимизирует вычисления в очереди путем минимизации количества проходов через данные. Для получения дополнительной информации смотрите Длинные массивы для Данных, которые не помещаются в память.

Для получения дополнительной информации об интеграции с большими системами передачи и обработки данных или компиляции алгоритмов tall array, смотрите Расширение длинных массивов с помощью других продуктов.

Функции

развернуть все

tallСоздание tall array
datastoreСоздайте datastore для большого количества данных
gatherСоберите длинный массив в память после выполняющихся операций в очереди
writeЗапись tall array в локальные и удаленные местоположения для проверки
mapreducerЗадайте среду выполнения для mapreduce или tall arrays
tallrngУправляйте генерацией случайных чисел для tall arrays
istallОпределите, является ли вход tall array
classUnderlyingКласс базовых данных в tall array
isaUnderlyingОпределите, имеют ли данные tall array заданный класс
matlab.tall.transformПреобразуйте массив путем применения указателя на функцию к блокам данных
matlab.tall.reduceРедуцируйте массивы путем применения алгоритма сокращения к блокам данных
matlab.tall.movingWindowПрименить функцию окна для блоков данных
matlab.tall.blockMovingWindowПрименить функцию окна и блочное сокращение к заполненным блокам данных

Темы

Длинные массивы для данных, которые не помещаются в память,

Узнайте о длинных массивах и выполните вычисление в качестве примера.

Отсроченная оценка длинных массивов

Как усилить задержанное выполнение длинных массивов, чтобы оптимизировать эффективность вычислений.

Индекс и Просмотр элементов длинного массива

Извлеките, присвойте и просмотрите фрагменты длинного массива.

Сгруппированные статистические расчеты с длинными массивами

В этом примере показано, как вычислить сгруппированную статистику длинного расписания, содержащего данные об отключении электроэнергии.

Визуализация длинных массивов

Методы визуализации для длинных массивов.

Расширение длинных массивов с помощью других продуктов

Список продуктов, которые улучшают возможности длинных массивов.

Разработайте пользовательские алгоритмы длинного массива

Руководство разработки для авторской разработки пользовательских алгоритмов, чтобы работать с длинными массивами.

Рекомендуемые примеры