Этот пример использует "Грибной" [3][4][5] [6][7] набора данных из архива машинного обучения UCI [7], описанный в http://archive.ics.uci.edu/ml/datasets/Mushroom. Набор данных включает 22 предиктора для 8 124 наблюдений за различными грибами. Предикторы являются типами категориальных данных. Например, форма прописной буквы категоризирована с функциями 'b' для колоколообразной прописной буквы и 'c' для конического. Грибной цвет также категоризирован с функциями 'n' для коричневого и 'p' для розового. Набор данных также включает классификацию для каждого гриба или съедобного или ядовитого.

Поскольку функции грибного набора данных являются категориальными, не возможно задать среднее значение нескольких точек данных, и поэтому широко используемый k - означает кластеризироваться, алгоритм не может быть обоснованно применен к этому набору данных. k-medoids является связанным алгоритмом, что данные о разделах в k отличные кластеры, путем нахождения medoids, которые минимизируют сумму несходств между точками в данных и их самом близком medoid.

medoid набора является членом того набора, среднее несходство которого с другими членами набора является самым маленьким. Подобие может быть задано для многих типов данных, которые не позволяют среднему значению быть вычисленным, позволяя k-medoids использоваться для более широкой области значений проблем, чем k - средние значения.

Используя k-medoids, этот пример кластеризирует грибы в две группы, на основе обеспеченных предикторов. Это затем исследует отношение между теми кластерами и классификациями грибов или как съедобное или как ядовитое.

Этот пример принимает, что вы загрузили "Грибной" [3][4][5] [6][7] набора данных с базы данных UCI (http://archive.ics.uci.edu/ml/machine-learning-databases/mushroom/) и сохраненный он в вашем текущем каталоге как текстовый файл под названием agaricus-lepiota.txt. В данных нет никаких заголовков столбцов, таким образом, readtable использует имена переменных по умолчанию.

clear all
data = readtable('agaricus-lepiota.txt','ReadVariableNames',false);

Отобразите первые 5 грибов с их первыми несколькими функциями.

data(1:5,1:10)

ans = 

    Var1    Var2    Var3    Var4    Var5    Var6    Var7    Var8    Var9    Var10
    ____    ____    ____    ____    ____    ____    ____    ____    ____    _____

    'p'     'x'     's'     'n'     't'     'p'     'f'     'c'     'n'     'k'  
    'e'     'x'     's'     'y'     't'     'a'     'f'     'c'     'b'     'k'  
    'e'     'b'     's'     'w'     't'     'l'     'f'     'c'     'b'     'n'  
    'p'     'x'     'y'     'w'     't'     'p'     'f'     'c'     'n'     'n'  
    'e'     'x'     's'     'g'     'f'     'n'     'f'     'w'     'b'     'k'

Извлеките первый столбец, маркированные данные для съедобных и ядовитых групп. Затем удалите столбец.

labels = data(:,1);
labels = categorical(labels{:,:});
data(:,1) = [];

Сохраните имена предикторов (функции), которые описаны в http://archive.ics.uci.edu/ml/machine-learning-databases/mushroom/agaricus-lepiota.names.

VarNames = {'cap_shape' 'cap_surface' 'cap_color' 'bruises' 'odor' ...
    'gill_attachment' 'gill_spacing' 'gill_size' 'gill_color' ...
    'stalk_shape' 'stalk_root' 'stalk_surface_above_ring' ...
    'stalk_surface_below_ring' 'stalk_color_above_ring' ...
    'stalk_color_below_ring' 'veil_type' 'veil_color' 'ring_number' ....
    'ring_type' 'spore_print_color' 'population' 'habitat'};

Установите имена переменных.

data.Properties.VariableNames = VarNames;

Существует в общей сложности 2 480 отсутствующих значений, обозначенных как '?'.

sum(char(data{:,:}) == '?')

ans =

        2480

На основе контроля набора данных и его описания, отсутствующие значения принадлежат только 11-й переменной (stalk_root). Удалите столбец из таблицы.

data(:,11) = [];

kmedoids только принимает числовые данные. Необходимо бросить категории, которые вы имеете в числовой тип. Функция расстояния, которую вы будете использовать, чтобы задать несходство данных, будет основана на двойном представлении категориальных данных.

cats = categorical(data{:,:});
data = double(cats);

kmedoids может использовать любую метрику расстояния, поддержанную pdist2, чтобы кластеризироваться. Для этого примера вы будете кластеризировать данные с помощью Расстояния Хемминга, потому что это - соответствующая метрика расстояния для категориальных данных, как проиллюстрировано ниже. Расстояние Хемминга между двумя векторами является процентом векторных компонентов, которые отличаются. Например, рассмотрите эти два вектора.

v1 = [1 0 2 1];

v2 = [1 1 2 1];

Они равны в 1-й, 3-й и 4-й координате. Начиная с 1 из 4 координат отличаются, Расстояние Хемминга между этими двумя векторами.25.

Можно использовать функциональный pdist2, чтобы измерить Расстояние Хемминга между первой и второй строкой данных, числовым представлением категориальных грибных данных. Значение.2857 средних значений, что 6 из 21 функции гриба отличаются.

pdist2(data(1,:),data(2,:),'hamming')

ans =

    0.2857

В этом примере вы кластеризируете грибные данные в два кластера на основе функций, чтобы видеть, соответствует ли кластеризация съедобности. Функция kmedoids, как гарантируют, будет сходиться к локальной переменной минимумы кластеризирующегося критерия; однако, это не может быть глобальным минимумом для проблемы. Это - хорошая идея кластеризировать проблему несколько раз с помощью параметра 'replicates'. Когда 'replicates' установлен в значение, n, больше, чем 1, k-medoids алгоритм является выполнением времена n, и лучший результат возвращен.

Запустить kmedoids к кластерным данным в 2 кластера, на основе Расстояния Хемминга и возвратить лучший результат 3 реплицируют, вы запускаете следующее.

rng('default'); % For reproducibility
[IDX, C, SUMD, D, MIDX, INFO] = kmedoids(data,2,'distance','hamming','replicates',3);

Давайте примем, что грибы в предсказанной группе 1 ядовиты, и группа 2 все съедобны. Чтобы определить производительность кластеризации результатов, вычислите, сколько грибов в группе 1 действительно ядовито, и группа 2 съедобны на основе известных меток. Другими словами, вычислите количество ложных положительных сторон, ложных отрицательных сторон, а также истинных положительных сторон и истинных отрицательных сторон.

Создайте матрицу беспорядка (или соответствие с матрицей), где диагональные элементы представляют количество истинных положительных сторон и истинных отрицательных сторон, соответственно. Недиагональные элементы представляют ложные отрицательные стороны и ложные положительные стороны, соответственно. Для удобства используйте функцию confusionmat, которая вычисляет матрицу беспорядка, данную известные метки и предсказанные метки. Получите предсказанную информацию метки от переменной IDX. IDX содержит значения 1 и 2 для каждой точки данных, представляя ядовитые и съедобные группы, соответственно.

predLabels = labels; % Initialize a vector for predicted labels.
predLabels(IDX==1) = categorical({'p'}); % Assign group 1 to be poisonous.
predLabels(IDX==2) = categorical({'e'}); % Assign group 2 to be edible.
confMatrix = confusionmat(labels,predLabels)

confMatrix =

        4176          32
         816        3100

Из 4 208 съедобных грибов, 4176 были правильно предсказаны, чтобы быть в группе 2 (съедобная группа), и 32 были неправильно предсказаны, чтобы быть в группе 1 (ядовитая группа). Точно так же из 3 916 ядовитых грибов, 3100 были правильно предсказаны, чтобы быть в группе 1 (ядовитая группа), и 816 были неправильно предсказаны, чтобы быть в группе 2 (съедобная группа).

Учитывая эту матрицу беспорядка, вычислите точность, которая является пропорцией истинных результатов (и истинные положительные стороны и истинные отрицательные стороны) против полных данных и точности, которая является пропорцией истинных положительных сторон против всех положительных результатов (истинные положительные стороны и ложные положительные стороны).

accuracy = (confMatrix(1,1)+confMatrix(2,2))/(sum(sum(confMatrix)))

accuracy =

    0.8956

precision = confMatrix(1,1) / (confMatrix(1,1)+confMatrix(2,1))

precision =

    0.8365

Результаты показали, что применение k-medoids алгоритма к категориальным функциям грибов привело к кластерам, которые были сопоставлены со съедобностью.