Используйте Гауссову связку, чтобы сгенерировать случайные точки данных от двумерного распределения.

rng default
rho = [1,0.05;0.05,1];
u = copularnd('Gaussian',rho,50);

Измените 5 случайным образом выбранных наблюдений, чтобы быть выбросами.

noise = randperm(50,5);
u(noise,1) = u(noise,1)*5;

Вычислите устойчивые ковариационные матрицы с помощью трех доступных методов: быстрый MCD, Ортогонализируемый Gnanadesikan-Kettenring (OGK) и Маслина-Hawkins.

[Sfmcd, Mfmcd, dfmcd, Outfmcd] = robustcov(u);
[Sogk, Mogk, dogk, Outogk] = robustcov(u,'Method','ogk');
[Soh, Moh, doh, Outoh] = robustcov(u,'Method','olivehawkins');

Вычислите классические значения расстояния для выборочных данных с помощью меры Mahalanobis.

d_classical = pdist2(u, mean(u),'mahal');
p = size(u,2);
chi2quantile = sqrt(chi2inv(0.975,p));

Создайте Графики DD для каждого устойчивого метода расчета ковариации.

figure
subplot(2,2,1)
plot(d_classical, dfmcd, 'o')
line([chi2quantile, chi2quantile], [0, 30], 'color', 'r')
line([0, 6], [chi2quantile, chi2quantile], 'color', 'r')
hold on
plot(d_classical(Outfmcd), dfmcd(Outfmcd), 'r+')
xlabel('Mahalanobis Distance')
ylabel('Robust Distance')
title('DD Plot, FMCD method')
hold off

subplot(2,2,2)
plot(d_classical, dogk, 'o')
line([chi2quantile, chi2quantile], [0, 30], 'color', 'r')
line([0, 6], [chi2quantile, chi2quantile], 'color', 'r')
hold on
plot(d_classical(Outogk), dogk(Outogk), 'r+')
xlabel('Mahalanobis Distance')
ylabel('Robust Distance')
title('DD Plot, OGK method')
hold off

subplot(2,2,3)
plot(d_classical, doh, 'o')
line([chi2quantile, chi2quantile], [0, 30], 'color', 'r')
line([0, 6], [chi2quantile, chi2quantile], 'color', 'r')
hold on
plot(d_classical(Outoh), doh(Outoh), 'r+')
xlabel('Mahalanobis Distance')
ylabel('Robust Distance')
title('DD Plot, Olive-Hawkins method')
hold off

В графике DD точки данных имеют тенденцию кластеризироваться в прямой линии, которая проходит через источник. Вопросы, которые далеко удалены из этой линии, обычно рассматриваются выбросы. В каждом из предыдущих графиков красный '+' символ указывает на точки данных что robustcov считает выбросами.

В этом примере показано, как использовать robustcov оценивать выборочные данные для многомерных нормальных или других распределений эллиптически очерченного (EC).

Сгенерируйте данные о случайной выборке из многомерного нормального распределения. Вычислите расстояния Mahalanobis для устойчивых оценок ковариации (использующий Оливковый-Hawkins метод) и классических оценок ковариации.

rng('default')
x1 = mvnrnd(zeros(1,3),eye(3),200);
[~, ~, d1] = robustcov(x1,'Method','olivehawkins');
d_classical1 = pdist2(x1,mean(x1),'mahalanobis');

Сгенерируйте данные о случайной выборке из распределения эллиптически очерченного (EC). Вычислите расстояния Mahalanobis для устойчивых оценок ковариации (использующий Оливковый-Hawkins метод) и классических оценок ковариации.

mu1 = [0 0 0];
sig1 = eye(3);
mu2 = [0 0 0];
sig2 = 25*eye(3);
x2 = [mvnrnd(mu1,sig1,120);mvnrnd(mu2,sig2,80)];
[~, ~, d2] = robustcov(x2, 'Method','olivehawkins');
d_classical2 = pdist2(x2, mean(x2), 'mahalanobis');

Сгенерируйте данные о случайной выборке из многомерного логарифмически нормального распределения, которое не является ни один многомерно нормальный или эллиптически очерченный. Вычислите расстояния Mahalanobis для устойчивых оценок ковариации (использующий Оливковый-Hawkins метод) и классических оценок ковариации.

x3 = exp(x1);
[~, ~, d3] = robustcov(x3, 'Method','olivehawkins');
d_classical3 = pdist2(x3, mean(x3), 'mahalanobis');

Создайте График D-D для каждого из трех наборов выборочных данных, чтобы выдержать сравнение.

figure
subplot(2,2,1)
plot(d_classical1,d1, 'o')
line([0 4.5], [0, 4.5])
xlabel('Mahalanobis Distance')
ylabel('Robust Distance')
title('DD Plot, Multivariate Normal')

subplot(2,2,2)
plot(d_classical2, d2, 'o')
line([0 18], [0, 18])
xlabel('Mahalanobis Distance')
ylabel('Robust Distance')
title('DD Plot, Elliptically-Contoured')

subplot(2,2,3)
plot(d_classical3, d3, 'o')
line([0 18], [0, 18])
xlabel('Mahalanobis Distance')
ylabel('Robust Distance')
title('DD Plot, 200 Lognormal cases')

Для данных с многомерным нормальным распределением (как показано в верхнем левом углу), нанесенные на график точки следуют за прямым, расширением линии на 45 градусов от источника. Для данных с эллиптически очерченным распределением (как показано в верхнем правом углу), нанесенные на график точки следуют за прямой линией, но не в углу в 45 градусов до начала координат. Для логарифмически нормального распределения (как показано в нижнем левом углу), нанесенные на график точки не следуют за прямой линией.

Это затрудняет, чтобы идентифицировать любой шаблон в логарифмически нормальном графике распределения, потому что большинство точек находится в нижнем левом углу графика. Используйте взвешенный график DD увеличить этот угол и показать функции, которые затенены, когда большие устойчивые расстояния существуют.

d3_weighted = d3(d3 < sqrt(chi2inv(0.975,3)));
d_classical_weighted = d_classical3(d3 < sqrt(chi2inv(0.975,3)));

Добавьте четвертый подграфик в фигуру, чтобы показать результаты процесса взвешивания на логарифмически нормально распределенных данных.

subplot(2,2,4)
plot(d_classical_weighted, d3_weighted, 'o')
line([0 3], [0, 3])
xlabel('Mahalanobis Distance')
ylabel('Robust Distance')
title('Weighted DD Plot, 200 Lognormal cases')

Шкала на этом графике указывает, что это представляет увеличенное представление исходного графика DD для логарифмически нормальных данных. Это представление больше ясно показывает отсутствие шаблона к графику, который указывает, что данные ни многомерны нормальный, ни эллиптически очерченный.

Используйте Гауссову связку, чтобы сгенерировать случайные точки данных от двумерного распределения.

rng default
rho = [1,0.05;0.05,1];
u = copularnd('Gaussian',rho,50);

Измените 5 случайным образом выбранных наблюдений, чтобы быть выбросами.

noise = randperm(50,5);
u(noise,1) = u(noise,1)*5;

Визуализируйте двумерные данные с помощью графика рассеивания.

figure
scatter(u(:,1),u(:,2))

Большинство точек данных появляется на левой стороне графика. Однако некоторые точки данных появляются далее направо. Эти точки являются возможными выбросами, которые могли влиять на вычисление ковариационной матрицы.

Сравните классические и устойчивые ковариационные матрицы.

c = cov(u)  

c = 2×2

    0.5523    0.0000
    0.0000    0.0913

rc = robustcov(u)

rc = 2×2

    0.1117    0.0364
    0.0364    0.1695

Классические и устойчивые ковариационные матрицы отличаются, потому что выбросы, существующие в выборочных данных, влияют на результаты.

Идентифицируйте и постройте точки данных что robustcov рассматривает выбросы.

[sig,mu,mah,outliers] = robustcov(u);
figure
gscatter(u(:,1),u(:,2),outliers,'br','ox')
legend({'Not outliers','Outliers'})

robustcov идентифицирует точки данных на правой стороне графика как потенциальные выбросы и обрабатывает их соответственно при вычислении устойчивой ковариационной матрицы.