Exponenta Banner
exponenta event banner

keyLimit

Класс: matlab.compiler.mlspark.RDD
Пакет: matlab.compiler.mlspark

Возвращаемое пороговое значение уникальных ключей, которые могут быть сохранены до разлива на диск

развернуть все на странице

Синтаксис

result = keyLimit(obj)

Описание

result = keyLimit(obj) возвращает порог уникальных ключей в obj которая может быть сохранена в памяти перед разливом на диск.

Входные аргументы

развернуть все

Входной RDD, указанный как RDD объект.

Выходные аргументы

развернуть все

Пороговое значение уникальных ключей, которые могут быть сохранены до разлива на диск и возвращены в виде скалярного значения.

Примеры

развернуть все

Используйте keyLimit способ возврата порога уникальных ключей, которые могут быть сохранены в containers.Map объект, определяющий свойства Spark™. Ключи, которые нарушают пороговое значение, разливаются на диск.

%% Connect to Spark
% Change number of keys from a default threshold of 10,000 to 500
sparkProp = containers.Map( ...
    {'spark.executor.cores',...
    'spark.executor.memory',...
    'spark.executor.instances',...
    'spark.matlab.worker.numOfKeys', ...
    }, ...
    {'1',...
    '2g',...
    '1', ...
    '500'});
conf = matlab.compiler.mlspark.SparkConf('AppName','myApp', ...
                        'Master','local[1]','SparkProperties',sparkProp);
sc = matlab.compiler.mlspark.SparkContext(conf);

%% keyLimit
x = sc.parallelize({1,2,3});
x.keyLimit % ans: 500

См. также

Представлен в R2016b

Документация по компилятору MATLAB

Поддержка