keyLimit

Класс: matlab.compiler.mlspark.RDD
Пакет: matlab.compiler.mlspark

Возвращает порог уникальных ключей, которые могут храниться перед разливом на диск

развернуть все на странице

Синтаксис

result = keyLimit(obj)

Описание

result = keyLimit(obj) возвращает порог уникальных ключей в obj который может храниться в памяти перед разливом на диск.

Входные параметры

расширить все

RDD входа, заданный как RDD объект.

Выходные аргументы

расширить все

Порог уникальных ключей, которые можно хранить перед разливом на диск, возвращаемое в виде скалярного значения.

Примеры

расширить все

Используйте keyLimit метод для возврата порога уникальных ключей, которые могут храниться в containers.Map объект, который задает Spark™ свойства. Ключи, которые нарушают порог, разливаются на диск.

%% Connect to Spark
% Change number of keys from a default threshold of 10,000 to 500
sparkProp = containers.Map( ...
    {'spark.executor.cores',...
    'spark.executor.memory',...
    'spark.executor.instances',...
    'spark.matlab.worker.numOfKeys', ...
    }, ...
    {'1',...
    '2g',...
    '1', ...
    '500'});
conf = matlab.compiler.mlspark.SparkConf('AppName','myApp', ...
                        'Master','local[1]','SparkProperties',sparkProp);
sc = matlab.compiler.mlspark.SparkContext(conf);

%% keyLimit
x = sc.parallelize({1,2,3});
x.keyLimit % ans: 500

См. также

Введенный в R2016b

Документация MATLAB Compiler

Поддержка

Для просмотра документации необходимо авторизоваться на сайте