Используйте Гауссову копулу, чтобы сгенерировать случайные точки данных из двухмерного распределения.

rng default
rho = [1,0.05;0.05,1];
u = copularnd('Gaussian',rho,50);

Измените 5 случайным образом выбранных наблюдений, чтобы они были выбросами.

noise = randperm(50,5);
u(noise,1) = u(noise,1)*5;

Вычислите устойчивые ковариационные матрицы с помощью трех доступных методов: Fast-MCD, ортогонализированный Gnanadesikan-Kettenring (OGK) и Olive-Hawkins.

[Sfmcd, Mfmcd, dfmcd, Outfmcd] = robustcov(u);
[Sogk, Mogk, dogk, Outogk] = robustcov(u,'Method','ogk');
[Soh, Moh, doh, Outoh] = robustcov(u,'Method','olivehawkins');

Вычислите классические значения расстояния для выборочных данных с помощью меры Махаланобиса.

d_classical = pdist2(u, mean(u),'mahal');
p = size(u,2);
chi2quantile = sqrt(chi2inv(0.975,p));

Создайте Графики DD для каждого метода вычисления робастной ковариации.

figure
subplot(2,2,1)
plot(d_classical, dfmcd, 'o')
line([chi2quantile, chi2quantile], [0, 30], 'color', 'r')
line([0, 6], [chi2quantile, chi2quantile], 'color', 'r')
hold on
plot(d_classical(Outfmcd), dfmcd(Outfmcd), 'r+')
xlabel('Mahalanobis Distance')
ylabel('Robust Distance')
title('DD Plot, FMCD method')
hold off

subplot(2,2,2)
plot(d_classical, dogk, 'o')
line([chi2quantile, chi2quantile], [0, 30], 'color', 'r')
line([0, 6], [chi2quantile, chi2quantile], 'color', 'r')
hold on
plot(d_classical(Outogk), dogk(Outogk), 'r+')
xlabel('Mahalanobis Distance')
ylabel('Robust Distance')
title('DD Plot, OGK method')
hold off

subplot(2,2,3)
plot(d_classical, doh, 'o')
line([chi2quantile, chi2quantile], [0, 30], 'color', 'r')
line([0, 6], [chi2quantile, chi2quantile], 'color', 'r')
hold on
plot(d_classical(Outoh), doh(Outoh), 'r+')
xlabel('Mahalanobis Distance')
ylabel('Robust Distance')
title('DD Plot, Olive-Hawkins method')
hold off

На графике DD точки данных, как правило, объединяются в прямую линию, которая проходит через источник. Точки, которые удалены далеко от этой линии, обычно считаются выбросами. На каждом из предыдущих графиков красный символ '+' указывает точки данных, которые robustcov рассматривает как выбросы.

В этом примере показано, как использовать robustcov для оценки выборочных данных для многомерных нормальных или других эллиптически-контурных (EC) распределений.

Сгенерируйте случайные выборочные данные из многомерного нормального распределения. Вычислите расстояния Махаланобиса для устойчивых ковариационных оценок (с помощью метода Оливки-Хокинса) и классических ковариационных оценок.

rng('default')
x1 = mvnrnd(zeros(1,3),eye(3),200);
[~, ~, d1] = robustcov(x1,'Method','olivehawkins');
d_classical1 = pdist2(x1,mean(x1),'mahalanobis');

Сгенерируйте случайные выборочные данные из эллиптически-контурного (EC) распределения. Вычислите расстояния Махаланобиса для устойчивых ковариационных оценок (с помощью метода Оливки-Хокинса) и классических ковариационных оценок.

mu1 = [0 0 0];
sig1 = eye(3);
mu2 = [0 0 0];
sig2 = 25*eye(3);
x2 = [mvnrnd(mu1,sig1,120);mvnrnd(mu2,sig2,80)];
[~, ~, d2] = robustcov(x2, 'Method','olivehawkins');
d_classical2 = pdist2(x2, mean(x2), 'mahalanobis');

Сгенерируйте случайные выборочные данные из многомерного логнормального распределения, которое не является ни многомерным нормальным, ни эллиптически контурным. Вычислите расстояния Махаланобиса для устойчивых ковариационных оценок (с помощью метода Оливки-Хокинса) и классических ковариационных оценок.

x3 = exp(x1);
[~, ~, d3] = robustcov(x3, 'Method','olivehawkins');
d_classical3 = pdist2(x3, mean(x3), 'mahalanobis');

Создайте график D-D для каждого из трех наборов выборочных данных для сравнения.

figure
subplot(2,2,1)
plot(d_classical1,d1, 'o')
line([0 4.5], [0, 4.5])
xlabel('Mahalanobis Distance')
ylabel('Robust Distance')
title('DD Plot, Multivariate Normal')

subplot(2,2,2)
plot(d_classical2, d2, 'o')
line([0 18], [0, 18])
xlabel('Mahalanobis Distance')
ylabel('Robust Distance')
title('DD Plot, Elliptically-Contoured')

subplot(2,2,3)
plot(d_classical3, d3, 'o')
line([0 18], [0, 18])
xlabel('Mahalanobis Distance')
ylabel('Robust Distance')
title('DD Plot, 200 Lognormal cases')

Для данных с многомерным нормальным распределением (как показано в верхнем левом углу) нанесенные точки следуют прямой, 45-градусной линии, простирающейся от источника. Для данных с эллиптически-контурным распределением (как показано в правом верхнем углу) нанесенные точки следуют прямой линии, но не находятся под углом 45 градусов к источнику. Для lognormal распределения (как показано на нижнем левом), нанесенные точки не следуют прямой линии.

Трудно идентифицировать какой-либо шаблон на lognormal графике распределения, потому что большинство точек находятся в нижней левой части графика. Используйте взвешенный график DD, чтобы увеличить этот угол и показать функции, которые заслоняются при наличии больших устойчивых расстояний.

d3_weighted = d3(d3 < sqrt(chi2inv(0.975,3)));
d_classical_weighted = d_classical3(d3 < sqrt(chi2inv(0.975,3)));

Добавьте четвертый подграфик к рисунку, чтобы показать результаты процесса взвешивания на lognormally распределенных данных.

subplot(2,2,4)
plot(d_classical_weighted, d3_weighted, 'o')
line([0 3], [0, 3])
xlabel('Mahalanobis Distance')
ylabel('Robust Distance')
title('Weighted DD Plot, 200 Lognormal cases')

Шкала на этом графике указывает, что он представляет увеличенное представление исходного DD-графика для логнормальных данных. Это представление более четко показывает отсутствие шаблона для графика, что указывает на то, что данные не являются ни многомерными нормальными, ни эллиптически контурными.

Используйте Гауссову копулу, чтобы сгенерировать случайные точки данных из двухмерного распределения.

rng default
rho = [1,0.05;0.05,1];
u = copularnd('Gaussian',rho,50);

Измените 5 случайным образом выбранных наблюдений, чтобы они были выбросами.

noise = randperm(50,5);
u(noise,1) = u(noise,1)*5;

Визуализируйте двухмерные данные с помощью графика поля точек.

figure
scatter(u(:,1),u(:,2))

Большинство точек данных отображается в левой части графика. Однако некоторые точки данных появляются дальше справа. Эти точки являются возможными выбросами, которые могут повлиять на вычисление ковариационной матрицы.

Сравните классические и устойчивые ковариационные матрицы.

c = cov(u)  

c = 2×2

    0.5523    0.0000
    0.0000    0.0913

rc = robustcov(u)

rc = 2×2

    0.1117    0.0364
    0.0364    0.1695

Классические и устойчивые ковариационные матрицы различаются, потому что выбросы, присутствующие в выборочных данных, влияют на результаты.

Идентифицируйте и постройте графики точек данных, которые robustcov рассматривает выбросы.

[sig,mu,mah,outliers] = robustcov(u);
figure
gscatter(u(:,1),u(:,2),outliers,'br','ox')
legend({'Not outliers','Outliers'})

robustcov определяет точки данных на правой стороне графика как потенциальные выбросы и обрабатывает их соответственно при вычислении устойчивой ковариационной матрицы.