Используйте гауссову копулу для генерации случайных точек данных из двумерного распределения.

rng default
rho = [1,0.05;0.05,1];
u = copularnd('Gaussian',rho,50);

Измените 5 случайно выбранных наблюдений на отклонения.

noise = randperm(50,5);
u(noise,1) = u(noise,1)*5;

Вычислите надежные ковариационные матрицы, используя три доступных метода: Fast-MCD, Orthogonalized Gnanadesikan-Kettenring (OGK) и Olive-Hawkins.

[Sfmcd, Mfmcd, dfmcd, Outfmcd] = robustcov(u);
[Sogk, Mogk, dogk, Outogk] = robustcov(u,'Method','ogk');
[Soh, Moh, doh, Outoh] = robustcov(u,'Method','olivehawkins');

Рассчитайте классические значения расстояния для данных образца с помощью измерения Махаланобиса.

d_classical = pdist2(u, mean(u),'mahal');
p = size(u,2);
chi2quantile = sqrt(chi2inv(0.975,p));

Создайте графики DD для каждого метода расчета надежной ковариации.

figure
subplot(2,2,1)
plot(d_classical, dfmcd, 'o')
line([chi2quantile, chi2quantile], [0, 30], 'color', 'r')
line([0, 6], [chi2quantile, chi2quantile], 'color', 'r')
hold on
plot(d_classical(Outfmcd), dfmcd(Outfmcd), 'r+')
xlabel('Mahalanobis Distance')
ylabel('Robust Distance')
title('DD Plot, FMCD method')
hold off

subplot(2,2,2)
plot(d_classical, dogk, 'o')
line([chi2quantile, chi2quantile], [0, 30], 'color', 'r')
line([0, 6], [chi2quantile, chi2quantile], 'color', 'r')
hold on
plot(d_classical(Outogk), dogk(Outogk), 'r+')
xlabel('Mahalanobis Distance')
ylabel('Robust Distance')
title('DD Plot, OGK method')
hold off

subplot(2,2,3)
plot(d_classical, doh, 'o')
line([chi2quantile, chi2quantile], [0, 30], 'color', 'r')
line([0, 6], [chi2quantile, chi2quantile], 'color', 'r')
hold on
plot(d_classical(Outoh), doh(Outoh), 'r+')
xlabel('Mahalanobis Distance')
ylabel('Robust Distance')
title('DD Plot, Olive-Hawkins method')
hold off

На DD-графике точки данных имеют тенденцию объединяться по прямой, проходящей через начало координат. Точки, которые далеко удалены от этой линии, как правило, считаются отклонениями. На каждом из предыдущих графиков красный символ «+» указывает точки данных, которые robustcov считает себя отклонителями.

В этом примере показано, как использовать robustcov для оценки данных выборки для многомерного нормального или другого эллиптически-контурного (EC) распределения.

Создание данных случайной выборки из многомерного нормального распределения. Вычислите расстояния Махаланобиса для надежных оценок ковариации (с использованием метода Олива-Хокинса) и классических оценок ковариации.

rng('default')
x1 = mvnrnd(zeros(1,3),eye(3),200);
[~, ~, d1] = robustcov(x1,'Method','olivehawkins');
d_classical1 = pdist2(x1,mean(x1),'mahalanobis');

Создание данных случайной выборки из эллиптически-контурного (EC) распределения. Вычислите расстояния Махаланобиса для надежных оценок ковариации (с использованием метода Олива-Хокинса) и классических оценок ковариации.

mu1 = [0 0 0];
sig1 = eye(3);
mu2 = [0 0 0];
sig2 = 25*eye(3);
x2 = [mvnrnd(mu1,sig1,120);mvnrnd(mu2,sig2,80)];
[~, ~, d2] = robustcov(x2, 'Method','olivehawkins');
d_classical2 = pdist2(x2, mean(x2), 'mahalanobis');

Генерируйте данные случайной выборки из многомерного логнормального распределения, которое не является ни многомерным нормальным, ни эллиптически-контурным. Вычислите расстояния Махаланобиса для надежных оценок ковариации (с использованием метода Олива-Хокинса) и классических оценок ковариации.

x3 = exp(x1);
[~, ~, d3] = robustcov(x3, 'Method','olivehawkins');
d_classical3 = pdist2(x3, mean(x3), 'mahalanobis');

Создайте D-D-график для каждого из трех наборов образцов данных для сравнения.

figure
subplot(2,2,1)
plot(d_classical1,d1, 'o')
line([0 4.5], [0, 4.5])
xlabel('Mahalanobis Distance')
ylabel('Robust Distance')
title('DD Plot, Multivariate Normal')

subplot(2,2,2)
plot(d_classical2, d2, 'o')
line([0 18], [0, 18])
xlabel('Mahalanobis Distance')
ylabel('Robust Distance')
title('DD Plot, Elliptically-Contoured')

subplot(2,2,3)
plot(d_classical3, d3, 'o')
line([0 18], [0, 18])
xlabel('Mahalanobis Distance')
ylabel('Robust Distance')
title('DD Plot, 200 Lognormal cases')

Для данных с многомерным нормальным распределением (как показано в левом верхнем углу) точки на графике следуют прямой, 45-градусной линии, проходящей от начала координат. Для данных с эллиптически-контурным распределением (как показано в правом верхнем углу) точки на графике следуют по прямой линии, но не под углом 45 градусов к началу координат. Для логнормального распределения (как показано в левом нижнем углу) точки на графике не следуют прямой линии.

Трудно идентифицировать какой-либо шаблон на логнормальном графике распределения, поскольку большинство точек находятся в левом нижнем углу графика. Используйте график взвешенного DD для увеличения этого угла и отображения элементов, которые скрыты при наличии больших надежных расстояний.

d3_weighted = d3(d3 < sqrt(chi2inv(0.975,3)));
d_classical_weighted = d_classical3(d3 < sqrt(chi2inv(0.975,3)));

Добавьте четвертый вложенный график к рисунку, чтобы показать результаты процесса взвешивания логнормально распределенных данных.

subplot(2,2,4)
plot(d_classical_weighted, d3_weighted, 'o')
line([0 3], [0, 3])
xlabel('Mahalanobis Distance')
ylabel('Robust Distance')
title('Weighted DD Plot, 200 Lognormal cases')

Масштаб на этом графике показывает, что он представляет увеличенный вид исходного DD-графика для логнормальных данных. Этот вид более четко показывает отсутствие узора на графике, что указывает на то, что данные не являются ни многомерными нормальными, ни эллиптически контурными.

Используйте гауссову копулу для генерации случайных точек данных из двумерного распределения.

rng default
rho = [1,0.05;0.05,1];
u = copularnd('Gaussian',rho,50);

Измените 5 случайно выбранных наблюдений на отклонения.

noise = randperm(50,5);
u(noise,1) = u(noise,1)*5;

Визуализируйте двумерные данные с помощью графика рассеяния.

figure
scatter(u(:,1),u(:,2))

Большинство точек данных отображаются в левой части графика. Однако некоторые точки данных появляются дальше вправо. Эти точки являются возможными отклонениями, которые могут повлиять на вычисление ковариационной матрицы.

Сравните классические и надежные ковариационные матрицы.

c = cov(u)  

c = 2×2

    0.5523    0.0000
    0.0000    0.0913

rc = robustcov(u)

rc = 2×2

    0.1117    0.0364
    0.0364    0.1695

Классические и надежные ковариационные матрицы различаются, потому что отклонения, присутствующие в данных выборки, влияют на результаты.

Определите и постройте график точек данных, которые robustcov рассматривает отклонения.

[sig,mu,mah,outliers] = robustcov(u);
figure
gscatter(u(:,1),u(:,2),outliers,'br','ox')
legend({'Not outliers','Outliers'})

robustcov идентифицирует точки данных в правой части графика как потенциальные отклонения и обрабатывает их соответствующим образом при вычислении надежной ковариационной матрицы.