Соответствуйте устойчивой линейной регрессии
Оцените устойчивые коэффициенты регрессии для кратного линейная модель.
Загрузите carsmall набор данных. Задайте автомобильный вес и лошадиную силу как предикторы и пробег на галлон как ответ.
load carsmall
x1 = Weight;
x2 = Horsepower;
X = [x1 x2];
y = MPG;Вычислите устойчивые коэффициенты регрессии.
b = robustfit(X,y)
b = 3×1
47.1975
-0.0068
-0.0333
Постройте подобранную модель.
x1fit = linspace(min(x1),max(x1),20); x2fit = linspace(min(x2),max(x2),20); [X1FIT,X2FIT] = meshgrid(x1fit,x2fit); YFIT = b(1) + b(2)*X1FIT + b(3)*X2FIT; mesh(X1FIT,X2FIT,YFIT)
Отобразите данные на графике.
hold on scatter3(x1,x2,y,'filled') hold off xlabel('Weight') ylabel('Horsepower') zlabel('MPG') legend('Model','Data') view(50,10) axis tight
Настройте функцию веса для устойчивой регрессии при помощи различных настраивающих констант.
Сгенерируйте данные с трендом , и затем измените одно значение, чтобы симулировать выброс.
x = (1:10)'; rng ('default') % For reproducibility y = 10 - 2*x + randn(10,1); y(10) = 0;
Вычислите устойчивые остаточные значения регрессии с помощью bisquare функции веса для трех различных настраивающих констант. Значение по умолчанию, настраивающееся постоянный, 4.685.
tune_const = [3 4.685 6]; for i = 1:length(tune_const) [~,stats] = robustfit(x,y,'bisquare',tune_const(i)); resids(:,i) = stats.resid; end
Создайте график остаточных значений.
scatter(x,resids(:,1),'b','filled') hold on plot(resids(:,2),'rx','MarkerSize',10,'LineWidth',2) scatter(x,resids(:,3),'g','filled') plot([min(x) max(x)],[0 0],'--k') hold off grid on xlabel('x') ylabel('Residuals') legend('tune = 3','tune = 4.685','tune = 6','Location','best')
Вычислите среднеквадратическую ошибку (RMSE) остаточных значений для трех различных настраивающих констант.
rmse = sqrt(mean(resids.^2))
rmse = 1×3
3.2577 2.7576 2.7099
Поскольку, увеличивая настраивающиеся постоянные уменьшения подавление присвоенного к выбросам, RMSE уменьшается как настраивающиеся постоянные увеличения.
Сгенерируйте данные с трендом , и затем измените одно значение, чтобы симулировать выброс.
x = (1:10)'; rng('default') % For reproducibility y = 10 - 2*x + randn(10,1); y(10) = 0;
Соответствуйте прямой линии с помощью обычной регрессии наименьших квадратов. Чтобы вычислить содействующие оценки для модели с постоянным термином, включайте столбец из единиц в x.
bls = regress(y,[ones(10,1) x])
bls = 2×1
7.8518
-1.3644
Оцените прямолинейную подходящую использующую устойчивую регрессию. robustfit добавляет постоянный термин к модели по умолчанию.
[brob,stats] = robustfit(x,y); brob
brob = 2×1
8.4504
-1.5278
Идентифицируйте потенциальные выбросы путем сравнения остаточных значений со средним абсолютным отклонением остаточных значений.
outliers_ind = find(abs(stats.resid)>stats.mad_s);
Постройте столбчатый график остаточных значений для устойчивой регрессии.
bar(abs(stats.resid)) hold on yline(stats.mad_s,'k--') hold off xlabel('x') ylabel('Residuals')
Создайте график рассеивания данных.
scatter(x,y,'filled')Постройте выброс.
hold on plot(x(outliers_ind),y(outliers_ind),'mo','LineWidth',2)
Постройте наименьшие квадраты и устойчивую подгонку.
plot(x,bls(1)+bls(2)*x,'r') plot(x,brob(1)+brob(2)*x,'g') hold off xlabel('x') ylabel('y') legend('Data','Outlier','Ordinary Least Squares','Robust Regression') grid on
Выброс влияет на устойчивую подгонку меньше, чем метод наименьших квадратов.
robustfit использование итеративно повторно взвесило наименьшие квадраты, чтобы вычислить коэффициенты b. Вход wfun задает веса.
robustfit оценивает, что ковариационная матрица отклонения коэффициента оценивает stats.covb использование формулы inv(X'*X)*stats.s^2. Эта оценка производит стандартную погрешность stats.se и корреляция stats.coeffcorr.
В линейной модели, наблюдаемых величинах y и их остаточные значения являются случайными переменными. Остаточные значения имеют нормальные распределения с нулевым средним значением, но с различными отклонениями в различных значениях предикторов. Помещать остаточные значения сопоставимой шкалы, robustfit “Studentizes” остаточные значения. Таким образом, robustfit делит остаточные значения на оценку их стандартного отклонения, которое независимо от их значения. Остаточные значения Studentized имеют t - распределения с известными степенями свободы. robustfit возвращает остаточные значения Studentized в stats.rstud.
robustfit полезно, когда вам просто нужны выходные аргументы функции или, когда это необходимо, повторить подбирающую модель многократно в цикле. Если необходимо исследовать устойчивую подбиравшую модель регрессии далее, создайте объект модели линейной регрессии LinearModel при помощи fitlm. Установите значение для аргумента пары "имя-значение" 'RobustOpts' к 'on'.
[1] DuMouchel, W. H. и Ф. Л. О'Брайен. “Интегрируя Устойчивую Опцию в Вычислительную среду Регрессии кратного”. Информатика и Статистика: Продолжения 21-го Симпозиума по Интерфейсу. Александрия, ВА: американская Статистическая Ассоциация, 1989.
[2] Голландия, P. W. и Р. Э. Велш. “Устойчивая Регрессия Используя Итеративно Перевзвешенные Наименьшие квадраты”. Коммуникации в Статистике: Теория и Методы, A6, 1977, стр 813–827.
[3] Хубер, P. J. Устойчивая статистика. Хобокен, NJ: John Wiley & Sons, Inc., 1981.
[4] Улица, J. O. Р. Дж. Кэрролл и Д. Рапперт. “Примечание по Вычислению Устойчивых Оценок Регрессии через Итеративно Перевзвешенные Наименьшие квадраты”. Американский Статистик. Издание 42, 1988, стр 152–154.
fitlm | LinearModel | regress | robustdemo