Econometrics Toolbox™ включает автономную среду, которая позволяет реализовать линейную регрессию Байеса. Среда содержит две группы предыдущих моделей для коэффициентов регрессии β и отклонения нарушения порядка σ2:
Стандартные байесовские модели предшествующей линейной регрессии - пять предшествующих объектов модели в этой группе варьируются от простой сопряженной модели normal-reverse-gamma previous до гибких предшествующих моделей, заданных извлечениями из предыдущих распределений или пользовательской функции. Хотя стандартные предыдущие модели могут служить нескольким целям, они лучше всего подходят для апостериорной оценки, симуляции (от сустава или, для большинства моделей, условного апостериора) и прогнозирования из апостериорного прогнозирующего распределения.
Байесовские предшествующие модели для выбора переменной предиктора - Модели в этой группе могут выполнять регрессию Байесовского лассо или выбор переменной стохастического поиска (SSVS). Они лучше всего подходят для апостериорной оценки, во время которой происходит алгоритм выбора предиктора. Получившаяся апостериорная модель представлена рисунками из сэмплера Гиббса (эмпирического объекта модели), и сводные данные оценок содержат результаты из алгоритма выбора предиктора. Процедура оценки не удаляет незначительные или избыточные переменные для вас, но коэффициенты хорошо настроенной модели близки к нулю. Поэтому, как и в стандартных моделях, можно моделировать рисования из апостериорного распределения или прогноза из апостериорного прогнозирующего распределения, не удаляя никаких переменных.
Общий рабочий процесс оценки функций апостериорных распределений, а затем прогнозирования откликов по новым данным предиктора:
Использовать bayeslm создать предыдущий объект модели, который представляет ваши предположения о распределении или предыдущем объекте модели, который подходит для выбора предиктора.
Передайте объект предыдущей модели и предиктор и данные отклика в estimate функция. По умолчанию estimate возвращает объект модели, который представляет апостериорное распределение.
Передайте объект модели, представляющий апостериорное распределение forecast.
Для получения дополнительной информации о стандартном рабочем процессе линейной регрессии Байеса, смотрите Рабочий процесс для стандартных байесовских линейных регрессионных моделей, и для выбора байесовского предиктора, смотрите Рабочий процесс для выбора байесовского предиктора.
Следующая процедура описывает рабочий процесс оценки функций апостериорных распределений, а затем прогнозирует ответы по данным предиктора.
Выберите предварительное распределение соединений для (β, σ2). Затем, используя bayeslm, создайте объект модели линейной регрессии Байеса, который полностью задает ваши убеждения относительно предшествующего распределения соединений. Эта таблица содержит доступные объекты предыдущей модели.
| Объект модели | Предварительное распределение соединений (β, σ2) | Когда создавать |
|---|---|---|
conjugateblm |
| Создайте этот объект модели, когда все из следующих значений будут true:
|
semiconjugateblm |
| Создайте этот объект модели, когда все из следующих значений будут true:
|
diffuseblm | Создайте этот объект модели, когда все из следующих значений будут true:
| |
customblm | Указатель на функцию пользовательской функции, которая вычисляет журнал предыдущего распределения соединений. | Создайте этот объект модели, когда вы хотите задать журнал предыдущего распределения соединений. Данная спецификация обеспечивает максимальную гибкость. |
Учитывая данные, оцените функции апостериорных распределений. Функции, которые будут использоваться в этом шаге, зависят от целей анализа.
| Функция | Цели |
|---|---|
estimate |
|
simulate |
|
Если у вас есть пользовательская предыдущая модель (customblm объект), затем выберите марковскую цепь Monte Carlo (MCMC) sampler при вызове estimate или simulate. Эта таблица содержит список поддерживаемых выборок MCMC. Выбрав семплер, сначала попробуйте значения параметров настройки по умолчанию.
| Пробоотборник MCMC | Настройка использования | Описание |
|---|---|---|
| Гамильтониан Монте-Карло (HMC) | 'Sampler',"hmc" | Поскольку пробоотборник HMC настраивает сам себя, а полученные выборки хорошо перемешиваются и сходятся к их стационарному распределению быстрее, попробуйте сначала этот пробоотборник. Чтобы увеличить скорость дискретизации, укажите градиент PDF журнала для всех или некоторых параметров. |
| Случайная прогулка Metropolis | 'Sampler',"metropolis" | Если размер выборки достаточно велик, и предыдущий не доминирует над вероятностью, попробуйте этот выборщик. Поддерживаемые распределения предложений являются многомерными нормальными и многомерными распределениями t. Параметры настройки включают распределение, его масштабную матрицу и ее степени свободы. |
| Срез | 'Sampler',"slice" (по умолчанию) | Чтобы достичь адекватного смешения и сходимости, тщательно настройте типовую ширину интервала дискретизации. Значения зависят от приложения. |
После оценки неаналитического апостериора с помощью MCMC sampler, исследуйте апостериорные или условные апостериорные вытяжки для адекватного смешивания. Для получения дополнительной информации см. «Апостериорная оценка и диагностика симуляции».
Если качество выборок не удовлетворительно, создайте структуру опций дискретизатора при помощи sampleroptions, что позволяет вам задать значения параметров настройки, соответствующие дискретизатору. Для примера, чтобы задать выборку Metropolis случайной прогулки, которая использует многомерное распределение t предложений с 5 степенями свободы, введите:
options = sampleroptions('Sampler',"metropolis",'Distribution',"mvt",... 'DegreeOfFreedom',5)
estimate или simulate при помощи 'Options' аргумент пары "имя-значение".Прогнозные отклики с учетом новых данных предиктора с использованием forecast. The forecast функция создает прогнозы из апостериорного прогнозирующего распределения. Аналитические апостериорные прогнозирующие распределения доступны для conjugateblm и diffuseblm предыдущие модели. Для всех других предыдущих моделей forecast прибегает к выборке Монте-Карло. Как и в случае с оценкой и симуляцией, можно выбрать дискретизатор MCMC для customblm модели. Если forecast использует MCMC sampler, вы должны проверить апостериорные или условные апостериорные рисунки для адекватного смешивания.
Следующая процедура описывает рабочий процесс для выполнения выбора байесовского предиктора для линейных регрессионых моделей, а затем прогнозирования откликов по данным предиктора.
Econometrics Toolbox поддерживает два алгоритма выбора байесовских предикторов: байесовскую регрессию лассо и SSVS. Выберите алгоритм выбора предиктора, который подразумевает предшествующее распределение соединений для (β, σ2). Затем, используя bayeslm, создайте Байесову линейную регрессию, предшествующую объекту модели, которая выполняет выбранный алгоритм выбора предиктора и опционально задает значение параметров настройки. Эта таблица содержит доступные объекты предыдущей модели для выбора предиктора. Для получения дополнительной информации о формах предыдущих распределений, см. Апостериорная оценка и вывод.
| Объект модели | Алгоритм выбора предиктора | Параметр настройки | Когда создавать |
|---|---|---|---|
mixconjugateblm | SSVS [1] |
|
|
mixsemiconjugateblm | SSVS | То же, что и mixconjugateblm |
|
lassoblm | Байесовская регрессия лассо [3] |
| Вы хотите заставить незначительные и избыточные переменные предиктора иметь коэффициенты с апостериорным режимом нуля и довольно плотными 95% апостериорными достоверными интервалами вокруг этого режима. |
Поскольку алгоритмы выбора предиктора могут быть чувствительны к различным шкалам переменных предиктора (в частности, регрессия Байесова лассо), определите шкалу предикторов, передав данные в boxplot, или путем оценки их средств и стандартных отклонений при помощи mean и std, соответственно.
Для предыдущих моделей SSVS постройте графики предыдущих распределений коэффициентов с помощью plot. Графики дают вам представление о том, как балансируют плотности двух Гауссовых компонентов. Вы можете настроить отклонения коэффициента с помощью записи через точку. Для примера приписать предыдущие отклонения 1000 и 0,1 компонентам переменного включения и переменного исключения, соответственно, для коэффициентного j
PriorMdl.V(j,:) = [1000 0.1];
V, см. [1].Для lasso previor моделей определите regularization path, то есть ряд значений для λ, которые итератируются во время апостериорной оценки. Значения зависят от данных.
Если переменные-предикторы имеют сходные шкалы, задайте левый контур, которая принудительно вводит большинство переменных в модель (то есть атрибут почти не имеет штрафа), задайте правый контур, которая заставляет почти все коэффициенты к 0, и задайте достаточное количество значений между контурами, чтобы адекватно искать пространство. По умолчанию программа атрибутирует усадку 0.01 на точку пересечения и 1 ко всем коэффициентам.
Если шкалы переменных предиктора различаются по порядкам величины, то можно пересмотреть или стандартизировать данные. Однако эти действия затрудняют интерпретацию коэффициентов. Вместо этого задайте путь регуляризации и используйте его, чтобы создать матрицу из повторяющихся строк. Для тех переменных, шкалы которых малы или большие, умножьте соответствующие строки на соответствующий порядок величины, чтобы увеличить штраф для малых коэффициентов или уменьшить штраф для больших коэффициентов.
Например, предположим, что регрессионая модель имеет три предиктора. Первые два предиктора имеют сходные шкалы, но третий предиктор имеет шкалу, которая на 3 порядка больше. Предположим, что 100-элементный путь регуляризации находится в векторе 1 на 100 Lambda. Чтобы создать матрицу значений усадки, введите следующий код:
p = 3 % Number of predictors numcoeffs = p + 1; % Number of coefficients, intercept and predictors LambdaMat = repmat(Lambda,4,1); LambdaMat(4,:) = 1e3*LambdaMat(4,:);
Для получения дополнительной информации об указании λ см. [3].
В for цикл, передайте предиктор и данные отклика в estimate для оценки функций апостериорных распределений для каждого значения параметра настройки. Для каждой итерации сохраните объект апостериорной модели и сводную таблицу оценок в массиве ячеек. estimate использует семплер Гиббса для последовательной выборки из полных обусловленности (см. «Аналитически отслеживаемые апостериоры»). Вы можете изменить аспекты семплера Гиббса, такие как коэффициент утончения, используя доступные опции.
Апостериорные модели (empiricalblm объекты модели) хранить рисунки из полных обусловленности, среди прочего.
Сводные таблицы оценок MATLAB® таблицы, которые включают:
Оценки среднего (Mean) и ковариационная матрица (Covariances) краевого апостериорного π (β | y, x), и среднего значения и дисперсии π (σ2| y, x).
95% равноправных, надежных интервалов (CI95), которые являются 0,025-квантилем и 0,975-квантилем сохранённой выборки Монте-Карло.
Апостериорные вероятности включения переменной (Regime) только для предыдущих моделей SSVS. Значения ниже порога, который вы определяете, указывают, что соответствующий предиктор незначителен или избыточен.
Несмотря на то, что вы оцениваете несколько апостериорных моделей, хорошей практикой является просмотр апостериорных рисунков для адекватного смешения, особенно для моделей, оцененных с использованием контуров значений параметров настройки. Для получения дополнительной информации см. «Апостериорная оценка и диагностика симуляции».
Определите наиболее эффективную апостериорную модель. Двумя примерами являются:
Выберите самую простую модель, которая минимизирует среднюю квадратичную невязку (MSE, средство Sigma2) среди всех апостериорных моделей. Этот метод прост, но получившиеся модели могут плохо обобщиться.
Выберите самую простую модель, которая минимизирует MSE прогноза.
Разделите данные на оценочные и прогнозные выборки.
Для всех выбранных значений параметров настройки оцените апостериорное распределение с помощью выборочных данных оценки.
Вычислите MSE прогноза с помощью выборки прогноза и откликов, предсказанных с помощью апостериорного прогнозирующего распределения.
Прогнозные отклики, данные новых предикторов с использованием forecast. The forecast функция создает прогнозы из апостериорного прогнозирующего распределения путем реализации семплера Гиббса. Осмотрите вытяжки на предмет адекватного перемешивания.
[1] Джордж, Э. И. и Р. Э. Маккаллох. «Выбор переменной через выборку Гиббса». Журнал Американской статистической ассоциации. Том 88, № 423, 1993, с. 881-889.
[2] Marin, J. M., and C. P. Robert. Байесовское ядро: практический подход к вычислительной байесовской статистике. Нью-Йорк: Springer Science + Business Media, LLC, 2007 .
[3] Парк, Т. и Г. Казелла. «Байесовский лассо». Журнал Американской статистической ассоциации. Том 103, № 482, 2008, стр. 681-686.
conjugateblm | customblm | diffuseblm | empiricalblm | lassoblm | mixconjugateblm | mixsemiconjugateblm | semiconjugateblm