Эконометрика Toolbox™ включает автономную структуру, которая позволяет реализовать байесовскую линейную регрессию. Фреймворк содержит две группы предшествующих моделей для коэффициентов регрессии β и дисперсию возмущений start2:
Стандартные байесовские линейные регрессионные предшествующие модели - пять предшествующих модельных объектов в этой группе варьируются от простой сопряженной нормальной-обратной-гамма-предшествующей модели до гибких предшествующих моделей, определенных рисованиями из предыдущих распределений или пользовательской функции. Хотя стандартные предыдущие модели могут служить нескольким целям, они лучше всего подходят для задней оценки, моделирования (из сустава или, для большинства моделей, условной задней) и прогнозирования из заднего прогностического распределения.
Байесовские предыдущие модели для выбора переменных предиктора - модели в этой группе могут выполнять байесовскую регрессию лассо или стохастический выбор переменных поиска (SSVS). Они лучше всего подходят для задней оценки, во время которой происходит алгоритм выбора предиктора. Результирующая задняя модель представлена рисунками из семплера Гиббса (объекта эмпирической модели), и резюме оценки содержит результаты алгоритма выбора предиктора. Процедура оценки не удаляет для вас незначительные или избыточные переменные, но коэффициенты отлаженной модели близки к нулю. Поэтому, как и в случае стандартных моделей, можно моделировать розыгрыши из апостериорного распределения или прогноз из апостериорного прогностического распределения без необходимости удаления каких-либо переменных.
Общий рабочий процесс для оценки особенностей задних распределений, а затем прогнозирования ответов с учетом новых данных предиктора:
Использовать bayeslm чтобы создать объект предыдущей модели, который представляет ваши предположения о распределении, или объект предыдущей модели, который подходит для выбора предиктора.
Передать объект предыдущей модели и данные предиктора и ответа в estimate функция. По умолчанию estimate возвращает объект модели, представляющий апостериорное распределение.
Передать объект модели, представляющий апостериорное распределение, в forecast.
Дополнительные сведения о стандартном рабочем процессе байесовской линейной регрессии см. в разделе Рабочий процесс для стандартных байесовских моделей линейной регрессии, а для выбора байесовского предиктора - в разделе Рабочий процесс для выбора байесовского предиктора.
Следующая процедура описывает рабочий процесс для оценки особенностей задних распределений, а затем прогнозирования ответов с данными предиктора.
Выберите совместное предварительное распределение для (β, start2). Затем с помощьюbayeslmсоздайте объект модели байесовской линейной регрессии, который полностью определяет ваши убеждения относительно совместного предыдущего распределения. Эта таблица содержит доступные объекты предыдущей модели.
| Объект модели | Совместное предварительное распределение (β, start2) | Когда создавать |
|---|---|---|
conjugateblm |
| Создайте этот объект модели, если выполняются все следующие условия:
|
semiconjugateblm |
| Создайте этот объект модели, если выполняются все следующие условия:
|
diffuseblm | Создайте этот объект модели, если выполняются все следующие условия:
| |
customblm | Дескриптор функции пользовательской функции, которая вычисляет журнал предыдущего совместного распределения. | Создайте этот объект модели, если требуется указать журнал предыдущего распределения соединения. Эта спецификация обеспечивает максимальную гибкость. |
Учитывая данные, оцените особенности задних распределений. Функции, используемые на этом шаге, зависят от целей анализа.
| Функция | Цели |
|---|---|
estimate |
|
simulate |
|
При наличии пользовательской предыдущей модели (customblm объект), затем при вызове сэмплера Monte Carlo (MCMC) цепи Маркова estimate или simulate. Эта таблица содержит список поддерживаемых выборок MCMC. После выбора образца сначала попробуйте использовать значения параметров настройки по умолчанию.
| Образец MCMC | Указать с помощью | Описание |
|---|---|---|
| Гамильтониан Монте-Карло (HMC) | 'Sampler',"hmc" | Поскольку HMC-пробоотборник настраивается сам, и полученные образцы хорошо смешиваются и быстрее сходятся к своему стационарному распределению, сначала попробуйте этот пробоотборник. Чтобы увеличить скорость выборки, введите градиент файла PDF журнала для всех или некоторых параметров. |
| Случайная прогулка Метрополис | 'Sampler',"metropolis" | Если размер выборки является достаточно большим, а предшествующий не доминирует над вероятностью, то попробуйте этот образец. Поддерживаемые распределения предложений являются многомерными нормальными и многомерными распределениями t. Параметры настройки включают распределение, матрицу масштаба и степени свободы. |
| Часть | 'Sampler',"slice" (по умолчанию) | Для достижения адекватного смешения и сходимости тщательно отрегулируйте типичную ширину интервала выборки. Значения зависят от приложения. |
После оценки неаналитического заднего участка с помощью пробоотборника MCMC осмотрите задний или условный задний участок для адекватного смешивания. Дополнительные сведения см. в разделе Диагностика задней оценки и моделирования.
Если качество проб неудовлетворительное, создайте структуру опций пробоотборника с помощью sampleroptions, которая позволяет задать значения параметров настройки, соответствующие образцу. Например, чтобы задать выборку Metropolis для случайного обхода, использующую многомерное распределение предложений t с 5 степенями свободы, введите:
options = sampleroptions('Sampler',"metropolis",'Distribution',"mvt",... 'DegreeOfFreedom',5)
estimate или simulate с помощью 'Options' аргумент пары имя-значение.Прогнозные ответы с учетом новых данных предиктора с использованием forecast. forecast функция строит прогнозы из заднего прогностического распределения. Аналитические апостериорные прогностические распределения доступны для conjugateblm и diffuseblm предыдущие модели. Для всех других предыдущих моделей, forecast прибегает к отбору проб в Монте-Карло. Как и в случае оценки и моделирования, можно выбрать образец MCMC для customblm модели. Если forecast использует пробоотборник MCMC, вы должны проверить задний или условный задний розыгрыш для адекватного смешивания.
Следующая процедура описывает рабочий процесс для выполнения выбора байесовского предиктора для моделей линейной регрессии, а затем прогнозирования ответов, заданных данными предиктора.
Econometrics Toolbox поддерживает два байесовских алгоритма выбора предикторов: байесовскую регрессию лассо и SSVS. Выберите алгоритм выбора предиктора, который подразумевает совместное предварительное распределение для (β, start2). Затем с помощьюbayeslmсоздайте объект предшествующей модели байесовской линейной регрессии, который выполняет выбранный алгоритм выбора предиктора, и дополнительно укажите значение параметра настройки. Эта таблица содержит объекты предыдущей модели для выбора предиктора. Для получения подробной информации о формах предыдущих распределений см. Апостериорная оценка и вывод.
| Объект модели | Алгоритм выбора предиктора | Параметр настройки | Когда создавать |
|---|---|---|---|
mixconjugateblm | SSVS [1] |
|
|
mixsemiconjugateblm | SSVS | То же, что и mixconjugateblm |
|
lassoblm | Байесовская регрессия лассо [3] |
| Вы хотите заставить незначительные и избыточные переменные предиктора иметь коэффициенты с задним режимом нуля и довольно жесткими 95% задними достоверными интервалами вокруг этого режима. |
Поскольку алгоритмы выбора предиктора могут быть чувствительны к различным масштабам переменных предиктора (в частности, байесовская регрессия лассо), определите масштаб предикторов, передав данные в boxplotили путем оценки их средних и стандартных отклонений с использованием mean и stdсоответственно.
Для предыдущих моделей SSVS постройте график предыдущих распределений коэффициентов с помощью plot. Графики дают представление о том, как сбалансированы плотности двух гауссовых компонентов. Дисперсию коэффициента можно скорректировать с помощью точечной нотации. Например, отнести предыдущие отклонения 1000 и 0,1 к компонентам включения и исключения переменных, соответственно, для коэффициента j
PriorMdl.V(j,:) = [1000 0.1];
V, см. [1].Для предыдущих моделей лассо определите путь регуляризации, то есть ряд значений λ для итерации во время задней оценки. Значения зависят от данных.
Если переменные предиктора имеют сходные масштабы, укажите левую границу, которая форсирует большинство переменных в модель (то есть не приписывает почти никакого штрафа), укажите правую границу, которая заставляет почти все коэффициенты равны 0, и укажите достаточное количество значений между границами для адекватного поиска пространства. По умолчанию программа присваивает усадке значение 0.01 на перехват и 1 ко всем коэффициентам.
Если масштабы переменных предиктора различаются на порядки, то можно масштабировать или стандартизировать данные. Однако эти действия затрудняют интерпретацию коэффициентов. Вместо этого укажите путь регуляризации и используйте его для создания матрицы повторяющихся строк. Для тех переменных, масштабы которых малы или велики, умножьте соответствующие строки на соответствующий порядок величины, чтобы увеличить штраф для малых коэффициентов или уменьшить штраф для больших коэффициентов.
Например, предположим, что регрессионная модель имеет три предиктора. Первые два предиктора имеют схожие шкалы, но третий предиктор имеет шкалу, которая на 3 порядка больше. Предположим, что путь 100-элементной регуляризации находится в векторе 1 на 100 Lambda. Чтобы создать матрицу значений усадки, введите следующий код:
p = 3 % Number of predictors numcoeffs = p + 1; % Number of coefficients, intercept and predictors LambdaMat = repmat(Lambda,4,1); LambdaMat(4,:) = 1e3*LambdaMat(4,:);
Для получения дополнительной информации об указании λ см. [3].
В for цикл, передача данных предиктора и ответа в estimate оценить особенности задних распределений для каждого значения параметра настройки. Для каждой итерации сохраните объект задней модели и сводную таблицу оценки в массиве ячеек. estimate использует пробоотборник Гиббса для последовательной выборки из полных условий (см. Аналитически отслеживаемые апостериоры). С помощью доступных опций можно изменить такие аспекты образца Гиббса, как коэффициент прореживания.
Задние модели (empiricalblm объекты модели) хранят черчения из полных условий, среди прочего.
Сводные таблицы оценки - это таблицы MATLAB ®, которые включают в себя:
Оценки среднего (Mean) и ковариационная матрица (Covariances) краевого заднебокового δ (β 'y, x), и среднее и дисперсию δ (start2 | y, x).
95% равных, достоверные интервалы (CI95), которые являются 0,025-квантилем и 0,975-квантилем сохраненной выборки Монте-Карло.
Апостериорные переменные вероятности включения (Regime) только для предыдущих моделей SSVS. Значения ниже определенного порога указывают на то, что соответствующий предиктор является незначительным или избыточным.
Хотя вы оцениваете несколько задних моделей, хорошей практикой является проверка задних розыгрышей на предмет адекватного смешивания, особенно для моделей, оцененных с использованием границ значений параметров настройки. Дополнительные сведения см. в разделе Диагностика задней оценки и моделирования.
Определите наилучшую заднюю модель. Два примера:
Выберите простейшую модель, которая минимизирует среднеквадратичную ошибку (MSE, средство Sigma2) среди всех задних моделей. Этот метод прост, но полученные модели могут плохо обобщаться.
Выберите простейшую модель, минимизирующую прогноз MSE.
Разбейте данные на выборки оценок и прогнозов.
Для всех выбранных значений параметров настройки оцените апостериорное распределение, используя данные выборки оценки.
Вычислите прогнозный MSE, используя прогнозную выборку и прогнозируемые ответы, используя апостериорное прогностическое распределение.
Прогнозные ответы с использованием новых данных предиктора forecast. forecast функция строит прогнозы из заднего прогностического распределения, реализуя выборку Гиббса. Осмотрите вытяжки на предмет надлежащего смешивания.
[1] Джордж, Э. И. и Р. Э. Маккаллох. «Выбор переменной с помощью выборки Гиббса». Журнал Американской статистической ассоциации. т. 88, № 423, 1993, стр. 881-889.
[2] Марин, Дж. М. и К. П. Роберт. Байесовская основа: практический подход к вычислительной байесовской статистике. Нью-Йорк: Springer Science + Business Media, LLC, 2007 .
[3] Парк, T. и Г. Казелла. «Байесовский Лассо.» Журнал Американской статистической ассоциации. т. 103, № 482, 2008, стр. 681-686.
conjugateblm | customblm | diffuseblm | empiricalblm | lassoblm | mixconjugateblm | mixsemiconjugateblm | semiconjugateblm