Подгонка надежной линейной регрессии
Оцените коэффициенты надежной регрессии для многолинейной модели.
Загрузить carsmall набор данных. Укажите вес автомобиля и мощность в лошадиных силах в качестве предикторов и пробег на галлон в качестве ответа.
load carsmall
x1 = Weight;
x2 = Horsepower;
X = [x1 x2];
y = MPG;Вычислите коэффициенты надежной регрессии.
b = robustfit(X,y)
b = 3×1
47.1975
-0.0068
-0.0333
Постройте график подогнанной модели.
x1fit = linspace(min(x1),max(x1),20); x2fit = linspace(min(x2),max(x2),20); [X1FIT,X2FIT] = meshgrid(x1fit,x2fit); YFIT = b(1) + b(2)*X1FIT + b(3)*X2FIT; mesh(X1FIT,X2FIT,YFIT)
Постройте график данных.
hold on scatter3(x1,x2,y,'filled') hold off xlabel('Weight') ylabel('Horsepower') zlabel('MPG') legend('Model','Data') view(50,10) axis tight
Настройте весовую функцию для надежной регрессии, используя различные константы настройки.
Создайте данные с трендом 10-2x, а затем измените одно значение, чтобы смоделировать отклонение.
x = (1:10)'; rng ('default') % For reproducibility y = 10 - 2*x + randn(10,1); y(10) = 0;
Вычислите надежные остатки регрессии, используя функцию веса бисквара для трех различных констант настройки. Константа настройки по умолчанию - 4,685.
tune_const = [3 4.685 6]; for i = 1:length(tune_const) [~,stats] = robustfit(x,y,'bisquare',tune_const(i)); resids(:,i) = stats.resid; end
Создайте график остатков.
scatter(x,resids(:,1),'b','filled') hold on plot(resids(:,2),'rx','MarkerSize',10,'LineWidth',2) scatter(x,resids(:,3),'g','filled') plot([min(x) max(x)],[0 0],'--k') hold off grid on xlabel('x') ylabel('Residuals') legend('tune = 3','tune = 4.685','tune = 6','Location','best')
Вычислите среднеквадратичную ошибку (RMSE) остатков для трех различных констант настройки.
rmse = sqrt(mean(resids.^2))
rmse = 1×3
3.2577 2.7576 2.7099
Поскольку увеличение постоянной настройки уменьшает понижающий вес, назначенный отклонениям, RMSE уменьшается по мере увеличения постоянной настройки.
Создайте данные с трендом 10-2x, а затем измените одно значение, чтобы смоделировать отклонение.
x = (1:10)'; rng('default') % For reproducibility y = 10 - 2*x + randn(10,1); y(10) = 0;
Поместите прямую линию с помощью обычной регрессии методом наименьших квадратов. Чтобы вычислить оценки коэффициентов для модели с постоянным членом, включите столбец единиц в x.
bls = regress(y,[ones(10,1) x])
bls = 2×1
7.8518
-1.3644
Оцените прямолинейную посадку с помощью надежной регрессии. robustfit добавляет постоянный член в модель по умолчанию.
[brob,stats] = robustfit(x,y); brob
brob = 2×1
8.4504
-1.5278
Определите потенциальные отклонения, сравнивая остатки со средним абсолютным отклонением остатков.
outliers_ind = find(abs(stats.resid)>stats.mad_s);
Постройте гистограмму остатков для надежной регрессии.
bar(abs(stats.resid)) hold on yline(stats.mad_s,'k--') hold off xlabel('x') ylabel('Residuals')
Создайте график разброса данных.
scatter(x,y,'filled')Постройте график отклонения.
hold on plot(x(outliers_ind),y(outliers_ind),'mo','LineWidth',2)
Постройте график наименьших квадратов и надежной посадки.
plot(x,bls(1)+bls(2)*x,'r') plot(x,brob(1)+brob(2)*x,'g') hold off xlabel('x') ylabel('y') legend('Data','Outlier','Ordinary Least Squares','Robust Regression') grid on
Отклонение влияет на устойчивую посадку меньше, чем наименьшие квадраты.
robustfit использует итерационно повторно взвешенные наименьшие квадраты для вычисления коэффициентов b. Вход wfun определяет веса.
robustfit оценивает дисперсионно-ковариационную матрицу оценок коэффициентов stats.covb с использованием формулы inv(X'*X)*stats.s^2. Эта оценка создает стандартную ошибку. stats.se и корреляция stats.coeffcorr.
В линейной модели наблюдаемые значения y и их остатки являются случайными переменными. Остатки имеют нормальные распределения с нулевым средним, но с различными дисперсиями при различных значениях предикторов. Чтобы поставить остатки в сопоставимый масштаб, robustfit «Studentises» остатки. То есть robustfit делит остатки на оценку их стандартного отклонения, которая не зависит от их значения. Изученные остатки имеют t-распределения с известными степенями свободы. robustfit возвращает студенческие остатки в stats.rstud.
robustfit полезно, когда просто нужны выходные аргументы функции или когда нужно повторить подгонку модели несколько раз в цикле. При необходимости дальнейшего исследования надежной подогнанной регрессионной модели создайте объект модели линейной регрессии. LinearModel с помощью fitlm. Установка значения для аргумента пары имя-значение 'RobustOpts' кому 'on'.
[1] DuMouchel, W. H. и F. L. O'Brien. «Интеграция надежного варианта в вычислительную среду множественной регрессии». Информатика и статистика: материалы 21-го симпозиума по интерфейсу. Александрия, Вирджиния: Американская статистическая ассоциация, 1989 год.
[2] Холланд, П. У. и Р. Э. Уэлш. «Надежная регрессия с использованием итеративно повторно взвешенных наименьших квадратов». Сообщения в статистике: теория и методы, A6, 1977, стр. 813-827.
[3] Хубер, P. J. Rustive Statistics. Хобокен, Нью-Джерси: John Wiley & Sons, Inc., 1981.
[4] Стрит, Дж. О., Р. Дж. Кэрролл и Д. Руппер. «Примечание по вычислению оценок надежной регрессии с помощью итеративно пересчитанных наименьших квадратов». Американский статистик. Том 42, 1988, стр. 152-154.
fitlm | LinearModel | regress | robustdemo