Exponenta Banner
exponenta event banner

упорствовать

Класс: matlab.compiler.mlspark.RDD
Пакет: matlab.compiler.mlspark

Установка значения уровня хранения данных RDD, сохраняющегося во всех операциях после его вычисления

развернуть все на странице

Синтаксис

persist(obj,storageLevel)

Описание

persist(obj,storageLevel) задает постоянный уровень хранения, указанный в storageLevel в объекте РДД obj. Уровень хранения по умолчанию: MEMORY_ONLY. Используйте persist метод назначения нового уровня хранения, если obj не имеет установленного уровня хранения. Его также можно использовать для установки постоянного уровня памяти в различных операциях.

Входные аргументы

развернуть все

Входной RDD, указанный как RDD объект.

Новый уровень хранения, который должен быть назначен, указан как вектор символов, заключенный в ''. Использовать storageLevel назначение нового уровня хранения, если RDD не имеет установленного уровня хранения. Уровень хранения по умолчанию: MEMORY_ONLY.

Уровень храненияОписание
MEMORY_ONLY

Сохраните RDD в памяти. Если RDD не помещается в память, некоторые разделы не кэшируются и пересчитываются каждый раз при необходимости.

DISK_ONLY

Сохраните разделы RDD на диске.

MEMORY_AND_DISK

Сохраните RDD в памяти. Если он не умещается в памяти, то слейте на диск.

MEMORY_ONLY_2

Храните RDD в памяти, но реплицируйте каждый раздел в два узла кластера.

DISK_ONLY_2

Храните разделы RDD на диске, но реплицируйте каждый раздел на два узла кластера.

MEMORY_AND_DISK_2

Сохраните RDD в памяти. Если он не умещается в памяти, то слейте на диск. Реплицируйте каждый раздел в два узла кластера.

OFF_HEAPХранить RDD в сериализованном формате. Дополнительные сведения см. в руководстве по программированию по адресу https://spark.apache.org/

Типы данных: char

Примеры

развернуть все

Используйте persist метод без какого-либо параметра для сохранения RDD в памяти исполнителей в кластере.

%% Connect to Spark
sparkProp = containers.Map({'spark.executor.cores'}, {'1'});
conf = matlab.compiler.mlspark.SparkConf('AppName','myApp', ...
                        'Master','local[1]','SparkProperties',sparkProp);
sc = matlab.compiler.mlspark.SparkContext(conf);

%% persist
myFile = sc.textFile('airlinesmall.csv');
myFile.persist();
myFile.unpersist();

См. также

| | |

Представлен в R2016b

Документация по компилятору MATLAB

Поддержка