Подгонка устойчивой линейной регрессии
Оцените устойчивые коэффициенты регрессии для множественной линейной модели.
Загрузите carsmall набор данных. Укажите вес автомобиля и мощность в качестве предикторов и пробег на галлон в качестве ответа.
load carsmall
x1 = Weight;
x2 = Horsepower;
X = [x1 x2];
y = MPG;Вычислите устойчивые коэффициенты регрессии.
b = robustfit(X,y)
b = 3×1
47.1975
-0.0068
-0.0333
Постройте график подобранной модели.
x1fit = linspace(min(x1),max(x1),20); x2fit = linspace(min(x2),max(x2),20); [X1FIT,X2FIT] = meshgrid(x1fit,x2fit); YFIT = b(1) + b(2)*X1FIT + b(3)*X2FIT; mesh(X1FIT,X2FIT,YFIT)
Постройте график данных.
hold on scatter3(x1,x2,y,'filled') hold off xlabel('Weight') ylabel('Horsepower') zlabel('MPG') legend('Model','Data') view(50,10) axis tight
Настройте весовую функцию для устойчивой регрессии с помощью различных констант настройки.
Сгенерируйте данные с трендом , а затем измените одно значение, чтобы симулировать выбросы.
x = (1:10)'; rng ('default') % For reproducibility y = 10 - 2*x + randn(10,1); y(10) = 0;
Вычислите устойчивую регрессию невязок используя функцию веса bisquare для трех различных констант настройки. Константа настройки по умолчанию является 4.685.
tune_const = [3 4.685 6]; for i = 1:length(tune_const) [~,stats] = robustfit(x,y,'bisquare',tune_const(i)); resids(:,i) = stats.resid; end
Создать график невязок.
scatter(x,resids(:,1),'b','filled') hold on plot(resids(:,2),'rx','MarkerSize',10,'LineWidth',2) scatter(x,resids(:,3),'g','filled') plot([min(x) max(x)],[0 0],'--k') hold off grid on xlabel('x') ylabel('Residuals') legend('tune = 3','tune = 4.685','tune = 6','Location','best')
Вычислите корневую среднюю квадратичную невязку ( RMSE) невязок для трех различных констант настройки.
rmse = sqrt(mean(resids.^2))
rmse = 1×3
3.2577 2.7576 2.7099
Поскольку увеличение константы настройки уменьшает уставку, назначенную выбросам, RMSE уменьшается, когда константа настройки увеличивается.
Сгенерируйте данные с трендом , а затем измените одно значение, чтобы симулировать выбросы.
x = (1:10)'; rng('default') % For reproducibility y = 10 - 2*x + randn(10,1); y(10) = 0;
Подгонка прямой линии с помощью обыкновенной регрессии методом наименьших квадратов. Чтобы вычислить оценки коэффициентов для модели с постоянным членом, включите столбец с таковыми в x.
bls = regress(y,[ones(10,1) x])
bls = 2×1
7.8518
-1.3644
Оцените прямолинейную аппроксимацию с помощью устойчивой регрессии. robustfit по умолчанию добавляет в модель постоянный член.
[brob,stats] = robustfit(x,y); brob
brob = 2×1
8.4504
-1.5278
Идентифицируйте потенциальные выбросы путем сравнения невязок с медианным абсолютным отклонением невязок.
outliers_ind = find(abs(stats.resid)>stats.mad_s);
Постройте штриховой график невязок для устойчивой регрессии.
bar(abs(stats.resid)) hold on yline(stats.mad_s,'k--') hold off xlabel('x') ylabel('Residuals')
Создайте график поля точек данных.
scatter(x,y,'filled')Постройте график выбросов.
hold on plot(x(outliers_ind),y(outliers_ind),'mo','LineWidth',2)
Постройте график наименьших квадратов и устойчивой подгонки.
plot(x,bls(1)+bls(2)*x,'r') plot(x,brob(1)+brob(2)*x,'g') hold off xlabel('x') ylabel('y') legend('Data','Outlier','Ordinary Least Squares','Robust Regression') grid on
Выбросы влияют на устойчивую подгонку меньше, чем аппроксимация методом наименьших квадратов.
robustfit использует итерационно повторно взвешенные наименьшие квадраты, чтобы вычислить коэффициенты b. Область входа wfun задает веса.
robustfit оценивает дисперсионно-ковариационную матрицу оценок коэффициентов stats.covb использование формулы inv(X'*X)*stats.s^2. Эта оценка генерирует стандартную ошибку stats.se и корреляционные stats.coeffcorr.
В линейной модели наблюдаемые значения y и их невязки являются случайными переменными. Невязки имеют нормальные распределения с нулевым средним, но с различными отклонениями при разных значениях предикторов. Чтобы поставить невязки в сопоставимой шкале, robustfit «Изучает» невязки. То есть, robustfit делит невязки на оценку их стандартного отклонения, которое не зависит от их значения. Исследуемые невязки имеют t-искривления с известными степенями свободы .robustfit возвращает Студеные невязки в stats.rstud.
robustfit полезно, когда вам просто нужны выходные аргументы функции или когда вы хотите повторить подбор кривой модели несколько раз в цикле. Если вам нужно исследовать устойчивую подобранную регрессионую модель дальше, создайте объект линейной регрессионой модели LinearModel при помощи fitlm. Установите значение для аргумента пары "имя-значение" 'RobustOpts' на 'on'.
[1] DuMouchel, W. H., and F. L. O'Brien. «Интеграция робастной опции в окружение нескольких регрессионных вычислений». Информатика и статистика: материалы 21-го симпозиума по интерфейсам. Александрия, VA: Американская статистическая ассоциация, 1989.
[2] Holland, P. W., and R. E. Welsch. Робастная регрессия с использованием итерационно переоцененных методом наименьших квадратов. Коммуникации в статистике: теория и методы, A6, 1977, с. 813-827.
[3] Huber, P. J. Robust Statistics. Hoboken, NJ: John Wiley & Sons, Inc., 1981.
[4] Стрит, Дж. О., Р. Дж. Кэрролл и Д. Рупперт. «Примечание по вычислению надежных оценок регрессии через итерационно переоцененные наименьшие квадраты». Американский статистик. Том 42, 1988, стр. 152-154.
fitlm | LinearModel | regress | robustdemo