Exponenta Banner

Несогласованные данные

Когда вы исследуете график данных, вы можете найти, что некоторые точки, кажется, отличаются существенно от остальной части данных. В некоторых случаях разумно рассмотреть такие выбросы точек или значения данных, которые, кажется, противоречивы с остальной частью данных.

Следующий пример иллюстрирует, как удалить выбросы из трех наборов данных в матрице 24х3 countВ этом случае выброс определяется как значение, которое более чем на три стандартных отклонения от среднего.

Внимание

Будьте осторожны относительно изменяющихся данных, если вы не уверены, что изучаете источник проблемы, которую вы хотите откорректировать. Удаление выброса оказывает большее влияние на стандартное отклонение, чем на среднем значении данных. Удаление одной такой точки приводит к меньшему отклонению нового стандарта, которое может привести к тому, чтобы заставлять некоторые остающиеся точки, казаться, быть выбросами! 

% Import the sample data
load count.dat;
% Calculate the mean and the standard deviation
% of each data column in the matrix
mu = mean(count)
sigma = std(count)

Отображения Командного окна

mu =
       32.0000   46.5417   65.5833

sigma =
       25.3703   41.4057   68.0281

Когда выброс будет считаться больше чем тремя стандартными отклонениями от среднего, используйте следующий синтаксис, чтобы определить количество выбросов в каждом столбце count матрица:

[n,p] = size(count);
% Create a matrix of mean values by
% replicating the mu vector for n rows
MeanMat = repmat(mu,n,1);
% Create a matrix of standard deviation values by
% replicating the sigma vector for n rows
SigmaMat = repmat(sigma,n,1);
% Create a matrix of zeros and ones, where ones indicate
% the location of outliers
outliers = abs(count - MeanMat) > 3*SigmaMat;
% Calculate the number of outliers in each column
nout = sum(outliers)

Процедура возвращает следующее количество выбросов в каждом столбце:

nout =
       1    0    0

Существует один выброс в столбце First Data count и ни один в других двух столбцах.

Чтобы удалить целую строку данных, содержащих выброс, ввести

count(any(outliers,2),:) = [];

Здесь, any(outliers,2) возвращает 1 когда любой из элементов в outliers вектор является ненулевым. Аргумент 2 задает это any работает вниз второе измерение матрицы count — ее столбцы.

Документация MATLAB

Поддержка