отличный

Класс: matlab.compiler.mlspark. RDD
Пакет: matlab.compiler.mlspark

Возвратите новый RDD, содержащий отличные элементы существующего RDD

Синтаксис

result = distinct(obj,numPartitions)

Описание

result = distinct(obj,numPartitions) возвращает новый result RDD, содержащий отличные элементы obj путем устранения дублирующихся значений.

Входные параметры

развернуть все

Вход RDD, заданный как объект RDD.

Количество разделов, чтобы создать, заданный как скалярное значение.

Типы данных: double

Выходные аргументы

развернуть все

Конвейерный RDD, содержащий отличные элементы входа RDD, возвращенного как объект RDD.

Примеры

развернуть все

%% Connect to Spark
sparkProp = containers.Map({'spark.executor.cores'}, {'1'});
conf = matlab.compiler.mlspark.SparkConf('AppName','myApp', ...
                        'Master','local[1]','SparkProperties',sparkProp);
sc = matlab.compiler.mlspark.SparkContext(conf);

%% distinct
inputRDD = sc.parallelize({1,2,1,2});
dRDD = inputRDD.distinct();
viewRes = dRDD.glom().collect()  %{1,2}

Введенный в R2017b