persist

Класс: matlab.compiler.mlspark.RDD
Пакет: matlab.compiler.mlspark

Установите значение уровня хранения RDD, чтобы оно сохранялось во всех операциях после вычисления

развернуть все на странице

Синтаксис

persist(obj,storageLevel)

Описание

persist(obj,storageLevel) устанавливает постоянный уровень памяти, заданный как storageLevel в объекте RDD obj. По умолчанию используется следующий уровень хранения MEMORY_ONLY. Используйте persist метод для назначения нового уровня памяти, если obj не имеет набора уровней хранения. Можно также использовать его для установки постоянного уровня памяти во всех операциях.

Входные параметры

расширить все

RDD входа, заданный как RDD объект.

Новый уровень памяти, который будет назначен, задается как вектор символов, заключенный в ''. Использование storageLevel присвоение нового уровня хранения, если RDD не имеет набора уровней хранения. По умолчанию используется следующий уровень хранения MEMORY_ONLY.

Уровень хранения данныхОписание
MEMORY_ONLY

Сохраните RDD в памяти. Если RDD не помещается в памяти, некоторые разделы не кэшируются и пересчитываются каждый раз, когда они необходимы.

DISK_ONLY

Сохраните разделы RDD на диске.

MEMORY_AND_DISK

Сохраните RDD в памяти. Если он не помещается в памяти, то разливается на диск.

MEMORY_ONLY_2

Сохраните RDD в памяти, но реплицируйте каждый раздел в два узла кластера.

DISK_ONLY_2

Сохраните разделы RDD на диске, но реплицируйте каждый раздел в два узла кластера.

MEMORY_AND_DISK_2

Сохраните RDD в памяти. Если он не помещается в памяти, то разливается на диск. Реплицируйте каждый раздел в два узла кластера.

OFF_HEAPХраните RDD в сериализованном формате. Для получения дополнительной информации смотрите руководство по программированию по адресу https://spark.apache.org/

Типы данных: char

Примеры

расширить все

Используйте persist метод без какого-либо параметра для хранения RDD в памяти исполнителей в кластере.

%% Connect to Spark
sparkProp = containers.Map({'spark.executor.cores'}, {'1'});
conf = matlab.compiler.mlspark.SparkConf('AppName','myApp', ...
                        'Master','local[1]','SparkProperties',sparkProp);
sc = matlab.compiler.mlspark.SparkContext(conf);

%% persist
myFile = sc.textFile('airlinesmall.csv');
myFile.persist();
myFile.unpersist();

См. также

| | |

Введенный в R2016b

Документация MATLAB Compiler

Поддержка

Для просмотра документации необходимо авторизоваться на сайте