Документация

Информация о расстоянии

Функция pdist возвращает эту информацию о расстоянии в векторе, Y, где каждый элемент содержит расстояние между парой объектов.

Y = pdist(X)

Y = 1×10

    2.9155    1.0000    3.0414    3.0414    2.5495    3.3541    2.5000    2.0616    2.0616    1.0000

Чтобы облегчить видеть отношение между информацией о расстоянии, сгенерированной pdist и объектами в исходном наборе данных, можно переформатировать вектор расстояния в матрицу с помощью функции squareform. В этой матрице элемент i, j соответствует расстоянию между объектом i и объектом j в исходном наборе данных. В следующем примере элемент 1,1 представляет расстояние между объектом 1 и им (который является нулем). Элемент 1,2 представляет расстояние между объектом 1 и объектом 2 и так далее.

squareform(Y)

ans = 5×5

         0    2.9155    1.0000    3.0414    3.0414
    2.9155         0    2.5495    3.3541    2.5000
    1.0000    2.5495         0    2.0616    2.0616
    3.0414    3.3541    2.0616         0    1.0000
    3.0414    2.5000    2.0616    1.0000         0

Проверьте несходство

В иерархическом кластерном дереве любые два объекта в исходном наборе данных в конечном счете соединены на некотором уровне. Высота ссылки представляет расстояние между двумя кластерами, которые содержат те два объекта. Эта высота известна как cophenetic расстояние между двумя объектами. Один способ измериться, как хорошо кластерное дерево, сгенерированное функцией linkage, отражает ваши данные, состоит в том, чтобы сравнить cophenetic расстояния с исходными данными о расстоянии, сгенерированными функцией pdist. Если кластеризация допустима, соединение объектов в кластерном дереве должно иметь сильную корреляцию с расстояниями между объектами на расстоянии вектор. Функция cophenet сравнивает эти два множества значений и вычисляет их корреляцию, возвращение значения вызвало cophenetic коэффициент корреляции. Чем ближе значение cophenetic коэффициента корреляции к 1, тем более точно решение по кластеризации отражает ваши данные.

Можно использовать cophenetic коэффициент корреляции, чтобы сравнить результаты кластеризации того же набора данных с помощью различных методов расчета расстояния или кластеризируя алгоритмы. Например, можно использовать функцию cophenet, чтобы оценить кластеры, созданные для набора выборочных данных.

c = cophenet(Z,Y)

c = 0.8615

Z является матрицей, выведенной функцией linkage, и Y является вектором расстояния, выведенным функцией pdist.

Выполните pdist снова на том же наборе данных, на этот раз задав метрику городского квартала. После выполнения функции linkage на этом новом pdist вывод с помощью среднего метода связи вызовите cophenet, чтобы оценить решение по кластеризации.

Y = pdist(X,'cityblock');
Z = linkage(Y,'average');
c = cophenet(Z,Y)

c = 0.9047

cophenetic коэффициент корреляции показывает, что использование различного расстояния и метода связи создает дерево, которое представляет исходные расстояния немного лучше.

Проверьте непротиворечивость

Один способ определить естественные кластерные деления в наборе данных состоит в том, чтобы сравнить высоту каждой ссылки в кластерном дереве с высотами соседних ссылок ниже это в дереве.

Ссылка, которая является приблизительно той же высотой как ссылки ниже, это указывает, что нет никаких отличных делений между объектами, к которым соединяют на этом уровне иерархии. Эти ссылки, как говорят, показывают высокий уровень непротиворечивости, потому что расстояние между объектами, к которым соединяют, является приблизительно тем же самым как расстояниями между объектами, которые они содержат.

С другой стороны, ссылка, высота которой отличается заметно от высоты ссылок ниже, это указывает, что объекты, к которым соединяют на этом уровне в кластерном дереве, намного более далеки друг кроме друга, чем их компоненты, состояла в том, когда к ним соединили. Эта ссылка, как говорят, противоречива со ссылками ниже он.

В кластерном анализе противоречивые ссылки могут указать на границу естественного деления в наборе данных. Функция cluster использует количественные показатели несоответствия, чтобы определить, где разделить ваш набор данных в кластеры.

Следующая древовидная схема иллюстрирует противоречивые ссылки. Отметьте, как объекты в древовидной схеме попадают в две группы, которые соединяются ссылками в намного более высоком уровне в дереве. Эти ссылки противоречивы при сравнении со ссылками ниже их в иерархии.

Относительная непротиворечивость каждой ссылки в иерархическом кластерном дереве может быть определена количественно и выражена как коэффициент несоответствия. Это значение сравнивает высоту ссылки в кластерной иерархии со средней высотой ссылок ниже это. Ссылки, которые соединяют отличные кластеры, имеют высокий коэффициент несоответствия; ссылки, которые соединяют неясные кластеры, имеют низкий коэффициент несоответствия.

Чтобы сгенерировать список коэффициента несоответствия для каждой ссылки в кластерном дереве, используйте функцию inconsistent. По умолчанию функция inconsistent сравнивает каждую ссылку в кластерной иерархии со смежными ссылками, которые являются меньше чем двумя уровнями ниже его в кластерной иерархии. Это называется глубиной сравнения. Можно также задать другие глубины. Объекты в нижней части кластерного дерева, названного вершинами, которые не имеют никаких дальнейших объектов ниже их, имеют коэффициент несоответствия нуля. Кластеры, которые соединяют два листа также, имеют нулевой коэффициент несоответствия.

Например, можно использовать функцию inconsistent, чтобы вычислить значения несоответствия для ссылок, созданных функцией linkage в Связях.

Во-первых, повторно вычислите расстояние и значения связи с помощью настроек по умолчанию.

Y = pdist(X);
Z = linkage(Y);

Затем, используйте inconsistent, чтобы вычислить значения несоответствия.

I = inconsistent(Z)

I = 4×4

    1.0000         0    1.0000         0
    1.0000         0    1.0000         0
    1.3539    0.6129    3.0000    1.1547
    2.2808    0.3100    2.0000    0.7071

Функция inconsistent возвращает данные о ссылках в (m-1)-by-4 матрица, столбцы которой описаны в следующей таблице.

В демонстрационном выводе первая строка представляет ссылку между объектами 4 и 5. Этот кластер присвоен индекс 6 функцией linkage. Поскольку и 4 и 5 вершины, коэффициент несоответствия для кластера является нулем. Вторая строка представляет ссылку между объектами 1 и 3, оба из которых являются также вершинами. Этот кластер присвоен индекс 7 функцией связи.

Третья строка оценивает ссылку, которая соединяет эти два кластера, объекты 6 и 7. (Этот новый кластер является присвоенным индексом 8 в linkage вывод). Столбец 3 указывает, что три ссылки рассматриваются в вычислении: сама ссылка и две ссылки непосредственно ниже его в иерархии. Столбец 1 представляет среднее значение высот этих ссылок. Функция inconsistent использует вывод информации высоты функцией linkage, чтобы вычислить среднее значение. Столбец 2 представляет стандартное отклонение между ссылками. Последний столбец содержит значение несоответствия для этих ссылок, 1.1547. Вот в чем разница между текущей высотой ссылки и средним значением, нормированным стандартным отклонением.

(2.0616 - 1.3539) / .6129

ans = 1.1547

Следующая фигура иллюстрирует ссылки и высоты, включенные в это вычисление.

Строка 4 в выходной матрице описывает ссылку между объектом 8 и объектом 2. Столбец 3 указывает, что две ссылки включены в это вычисление: сама ссылка и ссылка непосредственно ниже его в иерархии. Коэффициент несоответствия для этой ссылки 0.7071.

Следующая фигура иллюстрирует ссылки и высоты, включенные в это вычисление.

Найдите естественные деления в данных

Иерархическое кластерное дерево может естественно разделить данные на отличные, хорошо разделенные кластеры. Это может быть особенно очевидно в схеме древовидной схемы, созданной из данных, где группы объектов плотно упаковываются в определенных областях а не в других. Коэффициент несоответствия ссылок в кластерном дереве может идентифицировать эти деления, где общие черты между объектами изменяются резко. (См., Проверяют Кластерное Дерево для получения дополнительной информации о коэффициенте несоответствия.) Можно использовать это значение, чтобы определить, где функция cluster создает кластерные контуры.

Например, если вы используете функцию cluster, чтобы сгруппировать набор выборочных данных в кластеры, задавая содействующий порог несоответствия 1.2 как значение аргумента cutoff, группы функции cluster все объекты в наборе выборочных данных в один кластер. В этом случае ни одна из ссылок в кластерной иерархии не имела коэффициент несоответствия, больше, чем 1.2.

T = cluster(Z,'cutoff',1.2)

T = 5×1

     1
     1
     1
     1
     1

Функция cluster выводит вектор, T, который одного размера как исходный набор данных. Каждый элемент в этом векторе содержит количество кластера, в который был помещен соответствующий объект от исходного набора данных.

Если вы понижаете содействующий порог несоответствия к 0.8, функция cluster делит набор выборочных данных на три отдельных кластера.

T = cluster(Z,'cutoff',0.8)

T = 5×1

     3
     2
     3
     1
     1

Этот вывод указывает, что возражает 1, и 3 находятся в одном кластере, объекты 4 и 5 находятся в другом кластере и возражают 2, находится в его собственном кластере.

Когда кластеры формируются таким образом, значение сокращения применяется к коэффициенту несоответствия. Эти кластеры, но делают не обязательно, может соответствовать горизонтальному срезу через древовидную схему на определенной высоте. Если вы хотите кластеры, соответствующие горизонтальному срезу древовидной схемы, можно или использовать опцию criterion, чтобы указать, что сокращение должно быть основано на расстоянии, а не несоответствии, или можно задать количество кластеров непосредственно, как описано в следующем разделе.

Задайте произвольные кластеры

Вместо того, чтобы позволить cluster функционировать создают кластеры, определенные естественными делениями в наборе данных, можно задать количество кластеров, которые вы хотите созданный.

Например, можно указать, что вы хотите, чтобы функция cluster разделила набор выборочных данных в два кластера. В этом случае функция cluster создает один кластер, содержащий объекты 1, 3, 4, и 5 и другой кластер, содержащий объект 2.

T = cluster(Z,'maxclust',2)

T = 5×1

     2
     1
     2
     2
     2

Чтобы помочь вам визуализировать, как функция cluster определяет эти кластеры, следующие данные показывают древовидную схему иерархического кластерного дерева. Горизонтальная пунктирная линия пересекает две строки древовидной схемы, соответствуя установке 'maxclust' к 2. Эти две строки делят объекты в два кластера: объекты ниже левой строки, а именно, 1, 3, 4, и 5, принадлежат одному кластеру, в то время как объект ниже правой строки, а именно, 2, принадлежит другому кластеру.

С другой стороны, если вы устанавливаете 'maxclust' на 3, кластерные функциональные группы возражает 4 и 5 в одном кластере, возражает 1 и 3 во втором кластере и объекте 2 в третьем кластере. Следующая команда иллюстрирует это.

T = cluster(Z,'maxclust',3)

T = 5×1

     2
     3
     2
     1
     1

На этот раз функция cluster отключает иерархию в более низкой точке, соответствуя горизонтальной строке, которая пересекает три строки древовидной схемы в следующей фигуре.