Exponenta Banner

сохраниться

Класс: matlab.compiler.mlspark. RDD
Пакет: matlab.compiler.mlspark

Установите значение уровня хранения RDD, чтобы сохраниться через операции после того, как оно будет вычислено

расширьте все на странице

Синтаксис

persist(obj,storageLevel)

Описание

persist(obj,storageLevel) устанавливает персистентный уровень хранения, заданный storageLevel в объекте RDD obj. Уровнем хранения по умолчанию является MEMORY_ONLY. Используйте метод persist, чтобы присвоить новый уровень хранения, если obj не установили уровень хранения. Можно также использовать его, чтобы установить персистентный уровень хранения в памяти через операции.

Входные параметры

развернуть все

Вход RDD, заданный как объект RDD.

Новый уровень хранения, который будет присвоен, заданный как вектор символов, заключенный в ''. Используйте storageLevel, чтобы присвоить новый уровень хранения, если RDD не установили уровень хранения. Уровнем хранения по умолчанию является MEMORY_ONLY.

Уровень храненияОписание
MEMORY_ONLY

Сохраните RDD в памяти. Если RDD не умещается в памяти, некоторые разделы не кэшируются и повторно вычисляются каждый раз, когда они необходимы.

DISK_ONLY

Сохраните разделы RDD на диске.

MEMORY_AND_DISK

Сохраните RDD в памяти. Если это не умещается в памяти, то движется потоком к диску.

MEMORY_ONLY_2

Сохраните RDD в памяти, но реплицируйте каждый раздел в два кластерных узла.

DISK_ONLY_2

Сохраните разделы RDD на диске, но реплицируйте каждый раздел в два кластерных узла.

MEMORY_AND_DISK_2

Сохраните RDD в памяти. Если это не умещается в памяти, то движется потоком к диску. Реплицируйте каждый раздел в два кластерных узла.

OFF_HEAPСохраните RDD в сериализованном формате. Для получения дополнительной информации см. руководство по программированию по https://spark.apache.org/

Типы данных: char

Примеры

развернуть все

Используйте метод persist без любого параметра, чтобы сохранить RDD в памяти об исполнителях через кластер.

%% Connect to Spark
sparkProp = containers.Map({'spark.executor.cores'}, {'1'});
conf = matlab.compiler.mlspark.SparkConf('AppName','myApp', ...
                        'Master','local[1]','SparkProperties',sparkProp);
sc = matlab.compiler.mlspark.SparkContext(conf);

%% persist
myFile = sc.textFile('airlinesmall.csv');
myFile.persist();
myFile.unpersist();

Смотрите также

| | |

Введенный в R2017b

Документация MATLAB Compiler
Поддержка