mixconjugateblm

Байесовская линейная регрессионая модель с сопряженными априорными функциями для выбора переменной стохастического поиска (SSVS)

развернуть все на странице

Описание

Байесовская линейная регрессия объекта модели mixconjugateblm задает соединение предыдущего распределения коэффициентов регрессии и отклонения нарушения порядка (β, σ²) для реализации SSVS (см. [1] и [2]), принимая β и σ² являются зависимыми случайными переменными.

В целом, когда вы создаете объект байесовской линейной регрессионой модели, он задает предшествующее распределение соединений и характеристики только линейной регрессионой модели. То есть объект модели является шаблоном, предназначенным для дальнейшего использования. В частности, чтобы включить данные в модель для апостериорного анализа распределения и выбора признаков, передайте объект модели и данные в соответствующую функцию объекта.

Создание

Синтаксис

PriorMdl = mixconjugateblm(NumPredictors)

PriorMdl = mixconjugateblm(NumPredictors,Name,Value)

Описание

пример

PriorMdl = mixconjugateblm(NumPredictors) создает байесовский объект линейной регрессионной модели (PriorMdl) состоят из NumPredictors предикторы и точка пересечения, и устанавливает NumPredictors свойство. Совместное предшествующее распределение (β, σ²) подходит для реализации SSVS для выбора предиктора [2]. PriorMdl является шаблоном, который задает предыдущие распределения и размерность β.

пример

PriorMdl = mixconjugateblm(NumPredictors,Name,Value) устанавливает свойства (кроме NumPredictors) с использованием аргументов пары "имя-значение". Заключайте каждое имя свойства в кавычки. Для примера, mixconjugateblm(3,'Probability',abs(rand(4,1))) задает случайные вероятности предыдущего режима для всех четырех коэффициентов в модели.

Свойства

расширить все

Можно задать значения свойств записи, когда вы создаете объект модели с помощью синтаксиса аргумента пары "имя-значение" или после того, как вы создаете объект модели с помощью записи через точку. Для примера, чтобы исключить точку пересечения из модели, введите

PriorMdl.Intercept = false;

`NumPredictors` - Количество переменных предиктора
неотрицательное целое число

Количество переменных предиктора в байесовской многофакторной линейной регрессии, заданное в виде неотрицательного целого числа.

NumPredictors должно быть таким же, как и количество столбцов в данных предиктора, которые вы задаете во время оценки модели или симуляции.

При указании NumPredictors, исключить любой термин точки пересечения для значения.

После создания модели, если вы меняете значение NumPredictors используя запись через точку, эти параметры возвращаются к значениям по умолчанию:

Имена переменных (VarNames)
Предшествующее среднее значение β (Mu)
Предыдущие отклонения β для каждого режима (V)
Матрица предыдущей корреляции β (Correlation)
Вероятности предыдущего режима (Probability)

Типы данных: double

`Intercept` - Флаг включения точки пересечения регрессионной модели
`true` (по умолчанию) | `false`

Флаг для включения точки пересечения регрессионной модели, заданный как значение в этой таблице.

Значение	Описание
`false`	Исключить точку пересечения из регрессионной модели. Поэтому β является `p`-мерный вектор, где `p` - значение `NumPredictors`.
`true`	Включите точку пересечения в регрессионую модель. Поэтому β есть a (`p` + 1) -мерный вектор. Эта спецификация заставляет вектор T-на-1 из них быть подготовленным к данным предиктора во время оценки и симуляции.

Если вы включаете столбец таковых в данные предиктора для термина точки пересечения, задайте Intercept на false.

Пример: 'Intercept',false

Типы данных: logical

`VarNames` - Имена переменных предиктора
вектор строка | вектор камера векторов символов

Имена переменных предиктора для отображений, заданные как строковый вектор или вектор камеры векторов символов. VarNames должен содержать NumPredictors элементы. VarNames (j) - имя переменной в столбце j набора данных предиктора, который вы задаете во время оценки, симуляции или прогнозирования.

По умолчанию является {'Beta (1)', 'Beta (2),..., Beta (p)}, где p - значение NumPredictors.

Пример: 'VarNames',["UnemploymentRate"; "CPI"]

Типы данных: string | cell | char

`Mu` - Компонентный средний гиперпараметр Гауссовой смеси перед β
`zeros(Intercept + NumPredictors,2)` (по умолчанию) | числовую матрицу

Компонентный средний гиперпараметр Гауссовой смеси перед β, заданный как (Intercept + NumPredictors) -на-2 числовая матрица. Первый столбец содержит предшествующие средства для компонента 1 (режим включения переменной, то есть γ = 1). Второй столбец содержит предшествующие средства для компонента 2 (режим исключения переменных, то есть γ = 0).

Если Intercept является false, затем Mu имеет NumPredictors строки. mixconjugateblm устанавливает предшествующее среднее значение NumPredictors коэффициенты, соответствующие столбцам в наборе данных предиктора, которые вы задаете во время оценки, симуляции или прогнозирования.
В противном случае Mu имеет NumPredictors + 1 элементы. Первый элемент соответствует предшествующему средству точки пересечения, а все другие элементы соответствуют переменным предиктора.

Совет

Для выполнения SSVS используйте значение по умолчанию Mu.

Пример: В модели с 3 коэффициентами 'Mu',[0.5 0; 0.5 0; 0.5 0] устанавливает компонент 1, предшествующий среднему значению всех коэффициентов, равным 0.5 и устанавливает компонент 2, предшествующий среднему значению всех коэффициентов, равным 0.

Типы данных: double

`V` - Компонентный коэффициент отклонения гиперпараметра Гауссовой смеси перед β
`repmat([10 0.1],Intercept + NumPredictors,1)` (по умолчанию) | положительную числовую матрицу

Компонентный коэффициент отклонения гиперпараметра Гауссовой смеси перед β, an (Intercept + NumPredictors) -на-2 положительная числовая матрица. Первый столбец содержит предыдущие коэффициенты отклонения для компонента 1 (режим включения переменной, то есть γ = 1). Второй столбец содержит предыдущие коэффициенты отклонения для компонента 2 (режим исключения переменных, то есть γ = 0). Независимо от режима или коэффициента, предыдущее отклонение коэффициента является коэффициентом отклонения σ².

Если Intercept является false, затем V имеет NumPredictors строки. mixconjugateblm устанавливает предыдущий коэффициент отклонения NumPredictors коэффициенты, соответствующие столбцам в наборе данных предиктора, которые вы задаете во время оценки, симуляции или прогнозирования.
В противном случае V имеет NumPredictors + 1 элементы. Первый элемент соответствует предшествующему коэффициенту отклонения точки пересечения, а все другие элементы соответствуют переменным предиктора.

Совет

Для выполнения SSVS укажите больший коэффициент отклонения для режима 1, чем для режима 2 (для всех j, задайте V (j,1) > V (j,2)).
Для получения дополнительной информации о том, какое значение задать для V, см. [1].

Пример: В модели с 3 коэффициентами 'V',[100 1; 100 1; 100 1] устанавливает коэффициент отклонения компонента 1 для всех коэффициентов равным 100 и устанавливает компонент 2, предшествующий коэффициенту отклонения всех коэффициентов, равным 1.

Типы данных: double

`Probability` - Априорное распределение вероятностей для режимов включения и исключения переменных
`0.5*ones(Intercept + NumPredictors,1)` (по умолчанию) | числовой вектор значений в указателе | функции [0,1]

Априорное распределение вероятностей для режимов включения и исключения переменных, заданное как (Intercept + NumPredictors) -на-1 числовой вектор значений в [0,1], или указатель на функцию в форме @fcnName, где fcnName - имя функции. Probability представляет априорному распределению вероятностей γ = {γ 1,.._., γK}, где:

K = Intercept + NumPredictors, которое является количеством коэффициентов в регрессионной модели.
_γk ∈ {0,1} для k = 1,..., K. Поэтому пространство выборки имеет величину 2^K.
_γk = 1 указывает на переменную VarNames(k) включена в модель, и _γk = 0 указывает, что переменная исключена из модели.

Если Probability является числовым вектором:

Строки соответствуют именам переменных в VarNames. Для моделей, содержащих точку пересечения, предшествующая вероятность включения точки пересечения Probability(1).
Для k = 1,..., K, предыдущая вероятность исключения переменной k is 1 - Вероятность (k).
Предыдущие вероятности режима включения переменной, среди всех переменных и точки пересечения, являются независимыми.

Если Probability является указателем на функцию, затем представляет пользовательское предшествующее распределение вероятностей режима включения переменной. Соответствующая функция должна иметь этот оператор объявления (имена аргумента и имена функции могут варьироваться):

logprob = regimeprior(varinc)

logprob является числовым скаляром, представляющим журнал предыдущего распределения. Можно записать предшествующее распределение до константы пропорциональности.
varinc является K -by-1 логическим вектором. Элементы соответствуют именам переменных в VarNames и указать режим, в котором существует соответствующая переменная. varinc (k) = true указывает VarName (k) включен в модель, и varinc (k) = false указывает, что он исключен из модели.

Вы можете включать больше входные параметры, но они должны быть известны при вызове mixconjugateblm.

Для получения дополнительной информации о том, какое значение задать для Probability, см. [1].

Пример: В модели с 3 коэффициентами 'Probability',rand(3,1) присваивает каждому коэффициенту случайные предыдущие вероятности включения переменных.

Типы данных: double | function_handle

`Correlation` - Матрица предыдущей корреляции β
`eye(Intercept + NumPredictors)` (по умолчанию) | числовая, положительно определенная матрица

Матрица предыдущей корреляции β для обоих компонентов в модели смеси, заданная как (Intercept + NumPredictors) -by- (Intercept + NumPredictors) числовая, положительно определенная матрица. Следовательно, предшествующая ковариационная матрица для j компонента в модели смеси sigma2 * diag (sqrt (V (:, j)) * Корреляция * diag (sqrt (V (:, j))), где sigma2 является σ² и V - матрица коэффициентов отклонения коэффициентов.

Строки и столбцы соответствуют именам переменных в VarNames.

По умолчанию коэффициенты регрессии являются некоррелированными, обусловленными режимом.

Примечание

Можно задать любую числовую матрицу соответствующего размера. Однако, если ваша спецификация не положительно определена, mixconjugateblm выдает предупреждение и заменяет вашу спецификацию на CorrelationPD, где:

CorrelationPD = 0.5*(Correlation + Correlation.');

Для получения дополнительной информации о том, какое значение задать для Correlation, см. [1].

Типы данных: double

`A` - Формируйте гиперпараметр обратной гаммы перед σ²
`3` (по умолчанию) | числовой скаляр

Формируйте гиперпараметр обратной гаммы перед σ², заданный как числовой скаляр.

A должен быть по крайней мере –(Intercept + NumPredictors)/2.

С B удерживаемый фиксированный обратный гамма- распределение становится высокое и более концентрированной как A увеличивается. Эта характеристика взвешивает предыдущую модель σ² более сильно, чем вероятность во время апостериорной оценки.

Функциональную форму обратного гамма- распределения см. в Аналитически отслеживаемых апостериорах.

Пример: 'A',0.1

Типы данных: double

`B` - Шкала гиперпараметра обратной гаммы перед σ²
`1` (по умолчанию) | положительный скалярный | `Inf`

Масштабный параметр обратной гаммы перед σ², заданный как положительная скалярная величина или Inf.

С A удерживаемый фиксированный обратный гамма- распределение становится высокое и более концентрированной как B увеличивается. Эта характеристика взвешивает предыдущую модель σ² более сильно, чем вероятность во время апостериорной оценки.

Пример: 'B',5

Типы данных: double

Функции объекта

`estimate`	Выполните выбор переменной предиктора для байесовских линейных регрессионых моделей
`simulate`	Симулируйте коэффициенты регрессии и отклонение нарушения порядка байесовской линейной регрессионой модели
`forecast`	Прогнозные отклики байесовской линейной регрессионой модели
`plot`	Визуализация априорных и апостериорных плотностей параметров байесовской линейной регрессионой модели
`summarize`	Сводная статистика распределения байесовской линейной регрессионой модели для выбора переменной предиктора

Примеры

свернуть все

Создайте предыдущую модель для SSVS

Открыть Live Script

Рассмотрим линейную регрессионую модель, которая предсказывает реальный валовой национальный продукт США (GNPR) с использованием линейной комбинации индекса промышленного производства (IPI), общая занятость (E), и реальная заработная плата (WR).

${GNPR}_{t} = β_{0} + β_{1} {IPI}_{t} + β_{2} E_{t} + β_{3} {WR}_{t} + ε_{t} .$

Для всех $t$ , $ε_{t}$ - серия независимых гауссовских нарушений порядка со средним значением 0 и отклонением $σ^{2}$ .

Примите эти предыдущие распределения для $k$ = 0,...,3:

$β_{k} | σ^{2}, γ_{k} = γ_{k} σ \sqrt{V_{k 1}} Z_{1} + (1 - γ_{k}) σ \sqrt{V_{k 2}} Z_{2}$ , где $Z_{1}$ и $Z_{2}$ являются независимыми, стандартными нормальными случайными переменными. Поэтому коэффициенты имеют Гауссово распределение смеси. Предположим, что все коэффициенты являются условно независимыми, априори, но они зависят от отклонения нарушения порядка.
$σ^{2} \sim I G (A, B)$ . $A$ и $B$ - форма и шкала, соответственно, обратного гамма- распределения.
$γ_{k} \in {0, 1}$ и представляет переменную режима включения случайных переменных с дискретным равномерным распределением.

Создайте предыдущую модель для SSVS. Задайте количество предикторов p.

p = 3;
PriorMdl = mixconjugateblm(p);

PriorMdl является mixconjugateblm Байесовский объект линейной регрессионной модели, представляющий предшествующее распределение коэффициентов регрессии и отклонение нарушения порядка. mixconjugateblm отображает сводные данные предыдущих распределений в командной строке.

Кроме того, можно создать предыдущую модель для SSVS, передав количество предикторов в bayeslm и установка ModelType аргумент пары "имя-значение" в 'mixconjugate'.

MdlBayesLM = bayeslm(p,'ModelType','mixconjugate')

MdlBayesLM = 
  mixconjugateblm with properties:

    NumPredictors: 3
        Intercept: 1
         VarNames: {4x1 cell}
               Mu: [4x2 double]
                V: [4x2 double]
      Probability: [4x1 double]
      Correlation: [4x4 double]
                A: 3
                B: 1

 
           |  Mean     Std         CI95        Positive      Distribution     
------------------------------------------------------------------------------
 Intercept |  0      1.5890  [-3.547,  3.547]    0.500   Mixture distribution 
 Beta(1)   |  0      1.5890  [-3.547,  3.547]    0.500   Mixture distribution 
 Beta(2)   |  0      1.5890  [-3.547,  3.547]    0.500   Mixture distribution 
 Beta(3)   |  0      1.5890  [-3.547,  3.547]    0.500   Mixture distribution 
 Sigma2    | 0.5000  0.5000  [ 0.138,  1.616]    1.000   IG(3.00,    1)

Mdl и MdlBayesLM являются эквивалентными объектами модели.

Можно задать значения свойств writable для созданных моделей с помощью записи через точку. Установите имена коэффициентов регрессии в соответствующие имена переменных.

PriorMdl.VarNames = ["IPI" "E" "WR"]

PriorMdl = 
  mixconjugateblm with properties:

    NumPredictors: 3
        Intercept: 1
         VarNames: {4x1 cell}
               Mu: [4x2 double]
                V: [4x2 double]
      Probability: [4x1 double]
      Correlation: [4x4 double]
                A: 3
                B: 1

 
           |  Mean     Std         CI95        Positive      Distribution     
------------------------------------------------------------------------------
 Intercept |  0      1.5890  [-3.547,  3.547]    0.500   Mixture distribution 
 IPI       |  0      1.5890  [-3.547,  3.547]    0.500   Mixture distribution 
 E         |  0      1.5890  [-3.547,  3.547]    0.500   Mixture distribution 
 WR        |  0      1.5890  [-3.547,  3.547]    0.500   Mixture distribution 
 Sigma2    | 0.5000  0.5000  [ 0.138,  1.616]    1.000   IG(3.00,    1)

MATLAB ® связывает имена переменных с коэффициентами регрессии на отображениях.

Постройте график предыдущих распределений.

plot(PriorMdl);

Figure contains 5 axes. Axes 1 with title Intercept contains an object of type line. Axes 2 with title IPI contains an object of type line. Axes 3 with title E contains an object of type line. Axes 4 with title WR contains an object of type line. Axes 5 with title Sigma2 contains an object of type line.

Предшествующее распределение каждого коэффициента является смесью двух Гауссов: оба компонента имеют среднее значение нуля, но компонент 1 имеет большое отклонение относительно компонента 2. Поэтому их распределения центрируются в нуле и имеют внешний вид «шип и сляб».

Выполните выбор переменной с помощью SSVS и опций по умолчанию

Открыть Live Script

Рассмотрим линейную регрессионую модель в Создании Предыдущей Модели для SSVS.

Создайте предыдущую модель для выполнения SSVS. Предположим, что $β$ и $σ^{2}$ являются зависимыми (модель сопряженной смеси). Задайте количество предикторов p и имена коэффициентов регрессии.

p = 3;
PriorMdl = mixconjugateblm(p,'VarNames',["IPI" "E" "WR"]);

Отображение вероятностей предыдущего режима и Гауссовых коэффициентов отклонения смеси предыдущего $β$ .

priorProbabilities = table(PriorMdl.Probability,'RowNames',PriorMdl.VarNames,...
    'VariableNames',"Probability")

priorProbabilities=4×1 table
                 Probability
                 ___________

    Intercept        0.5    
    IPI              0.5    
    E                0.5    
    WR               0.5

priorV = array2table(PriorMdl.V,'RowNames',PriorMdl.VarNames,...
    'VariableNames',["gammaIs1" "gammaIs0"])

priorV=4×2 table
                 gammaIs1    gammaIs0
                 ________    ________

    Intercept       10         0.1   
    IPI             10         0.1   
    E               10         0.1   
    WR              10         0.1

PriorMdl сохраняет вероятности предыдущего режима в Probability свойство и коэффициенты отклонения режима в V свойство. Предшествующая вероятность включения переменной по умолчанию составляет 0,5. Коэффициенты отклонения по умолчанию для каждого коэффициента - 10 для режима включения переменной и 0,01 для режима исключения переменной.

Загрузите набор данных Нельсона-Плоссера. Создайте переменные для ряда отклика и предиктора.

load Data_NelsonPlosser
X = DataTable{:,PriorMdl.VarNames(2:end)};
y = DataTable{:,'GNPR'};

Реализуйте SSVS путем оценки маргинальных апостериорных распределений $β$ и $σ^{2}$ . Поскольку SSVS использует марковскую цепь Monte Carlo (MCMC) для оценки, установите начальное число случайных чисел, чтобы воспроизвести результаты.

rng(1);
PosteriorMdl = estimate(PriorMdl,X,y);

Method: MCMC sampling with 10000 draws
Number of observations: 62
Number of predictors:   4
 
           |   Mean      Std           CI95        Positive  Distribution  Regime 
----------------------------------------------------------------------------------
 Intercept | -18.8333  10.1851  [-36.965,  0.716]    0.037     Empirical   0.8806 
 IPI       |   4.4554   0.1543   [ 4.165,  4.764]    1.000     Empirical   0.4545 
 E         |   0.0010   0.0004   [ 0.000,  0.002]    0.997     Empirical   0.0925 
 WR        |   2.4686   0.3615   [ 1.766,  3.197]    1.000     Empirical   0.1734 
 Sigma2    |  47.7557   8.6551   [33.858, 66.875]    1.000     Empirical    NaN

PosteriorMdl является empiricalblm объект модели, который хранит черты из апостериорных распределений $β$ и $σ^{2}$ учитывая данные. estimate отображает сводные данные маргинальных апостериорных распределений в командной строке. Строки сводных данных соответствуют коэффициентам регрессии и нарушения порядка отклонения, а столбцы соответствуют характеристикам апостериорного распределения. Характеристики включают:

CI95, который содержит 95% байесовских справедливых интервалов для параметров. Для примера апостериорная вероятность того, что коэффициент регрессии E (стандартизированный) находится в [0,000, 0,002] равном 0,95.
Regime, который содержит маргинальную апостериорную вероятность переменного включения ( $γ = 1$ для переменной). Для примера, апостериорная вероятность того, что E должен быть включен в модель 0,0925.

Принимая, что переменные с Regime < 0,1 следует удалить из модели, результаты показывают, что можно исключить уровень безработицы из модели.

По умолчанию estimate рисует и отбрасывает сгорающую выборку размера 5000. Однако передовой практикой является проверка следового графика рисок на предмет адекватного смешивания и отсутствия переходного процесса. Постройте график трассировки рисунков для каждого параметра. Вы можете получить доступ к рисункам, которые составляют распределение (свойства BetaDraws и Sigma2Draws) с использованием записи через точку.

figure;
for j = 1:(p + 1)
    subplot(2,2,j);
    plot(PosteriorMdl.BetaDraws(j,:));
    title(sprintf('%s',PosteriorMdl.VarNames{j}));
end

Figure contains 4 axes. Axes 1 with title Intercept contains an object of type line. Axes 2 with title IPI contains an object of type line. Axes 3 with title E contains an object of type line. Axes 4 with title WR contains an object of type line.

figure;
plot(PosteriorMdl.Sigma2Draws);
title('Sigma2');

Figure contains an axes. The axes with title Sigma2 contains an object of type line.

Графики следов показывают, что рисунки, кажется, хорошо смешиваются. Графики не показывают обнаруживаемой переходности или последовательной корреляции, и рисунки не скачут между состояниями.

Задайте пользовательское распределение вероятностей предыдущего режима для SSVS

Открыть скрипт

Рассмотрим линейную регрессионую модель в Создании Предыдущей Модели для SSVS.

Загрузите набор данных Нельсона-Плоссера. Создайте переменные для ряда отклика и предиктора. Добавьте специфичные для примера файлы к пути MATLAB ®.

load Data_NelsonPlosser
VarNames = ["IPI" "E" "WR"];
X = DataTable{:,VarNames};
y = DataTable{:,"GNPR"};

path = fullfile(matlabroot,'examples','econ','main');
addpath(path);

Предположим следующее:

Точка пересечения находится в модели с вероятностью 0,9.
IPI и E находятся в модели с вероятностью 0,75.
Если E включено в модель, затем вероятность того, что WR включено в модель 0,9.
Если E исключается из модели, тогда вероятность того, что WR включено - 0,25.

Объявить функцию с именем priorssvsexample.m что:

Принимает логический вектор, указывающий, есть ли точка пересечения и переменные в модели (true для включения модели). Элемент 1 соответствует точке пересечения, а остальные элементы соответствуют переменным в данных.
Возвращает числовой скаляр, представляющий журнал описанного распределения вероятностей предыдущего режима.

function logprior = priorssvsexample(varinc)
%PRIORSSVSEXAMPLE Log prior regime probability distribution for SSVS
%   PRIORSSVSEXAMPLE is an example of a custom log prior regime probability
%   distribution for SSVS with dependent random variables. varinc is
%   a 4-by-1 logical vector indicating whether 4 coefficients are in a model
%   and logPrior is a numeric scalar representing the log of the prior
%   distribution of the regime probabilities.
%   
%   Coefficients enter a model according to these rules:
%       * varinc(1) is included with probability 0.9.
%       * varinc(2) and varinc(3) are in the model with probability 0.75.
%       * If varinc(3) is included in the model, then the probability that
%       varinc(4) is included in the model is 0.9.
%       * If varinc(3) is excluded from the model, then the probability
%       that varinc(4) is included is 0.25.

logprior = log(0.9) + 2*log(0.75) + log(varinc(3)*0.9 + (1-varinc(3))*0.25);

end

priorssvsexample.m является специфичным для примера файлом, включенным в Econometrics Toolbox™. Для доступа к нему введите edit priorssvsexample.m в командной строке.

Создайте предыдущую модель для выполнения SSVS. Предположим, что $\beta$ и $\sigma^2$ являются (модель сопряженной смеси). Задайте количество предикторов p имена коэффициентов регрессии и пользовательское предшествующее априорное распределение вероятностей режимов включения переменных.

p = 3;
PriorMdl = mixconjugateblm(p,'VarNames',["IPI" "E" "WR"],...
    'Probability',@priorssvsexample);

Реализуйте SSVS путем оценки маргинальных апостериорных распределений $\beta$ и. $\sigma^2$ Поскольку SSVS использует MCMC для оценки, установите начальное число случайных чисел, чтобы воспроизвести результаты.

rng(1);
PosteriorMdl = estimate(PriorMdl,X,y);

Method: MCMC sampling with 10000 draws
Number of observations: 62
Number of predictors:   4
 
           |   Mean      Std           CI95        Positive  Distribution  Regime 
----------------------------------------------------------------------------------
 Intercept | -18.7971  10.1644  [-37.002,  0.765]    0.039     Empirical   0.8797 
 IPI       |   4.4559   0.1530   [ 4.166,  4.760]    1.000     Empirical   0.4623 
 E         |   0.0010   0.0004   [ 0.000,  0.002]    0.997     Empirical   0.2665 
 WR        |   2.4684   0.3618   [ 1.759,  3.196]    1.000     Empirical   0.1727 
 Sigma2    |  47.7391   8.6741   [33.823, 67.024]    1.000     Empirical    NaN

Принимая, что переменные с Regime < 0,1 следует удалить из модели, результаты показывают, что можно включать все переменные в модель.

Потому что этот пример требует path чтобы получить доступ к файлам конкретного примера, очистите путем удаления path из пути MATLAB ®.

rmpath(path);

Прогнозные отклики с использованием апостериорного прогнозирующего распределения

Открыть Live Script

Рассмотрим регрессионую модель в Создании Предыдущей Модели для SSVS.

Выполните SSVS:

Создайте байесовскую регрессионую модель для SSVS с сопряженным предшествующим для вероятности данных. Используйте настройки по умолчанию.
Продержитесь последние 10 периодов данных из оценки.
Оцените маргинальные апостериорные распределения.

p = 3;
PriorMdl = bayeslm(p,'ModelType','mixconjugate','VarNames',["IPI" "E" "WR"]);

load Data_NelsonPlosser
fhs = 10; % Forecast horizon size
X = DataTable{1:(end - fhs),PriorMdl.VarNames(2:end)};
y = DataTable{1:(end - fhs),'GNPR'};
XF = DataTable{(end - fhs + 1):end,PriorMdl.VarNames(2:end)}; % Future predictor data
yFT = DataTable{(end - fhs + 1):end,'GNPR'};                  % True future responses

rng(1); % For reproducibility
PosteriorMdl = estimate(PriorMdl,X,y,'Display',false);

Прогнозные отклики с использованием апостериорного прогнозирующего распределения и будущих данных предиктора XF. Постройте график истинных значений отклика и прогнозируемых значений.

yF = forecast(PosteriorMdl,XF);

figure;
plot(dates,DataTable.GNPR);
hold on
plot(dates((end - fhs + 1):end),yF)
h = gca;
hp = patch([dates(end - fhs + 1) dates(end) dates(end) dates(end - fhs + 1)],...
    h.YLim([1,1,2,2]),[0.8 0.8 0.8]);
uistack(hp,'bottom');
legend('Forecast Horizon','True GNPR','Forecasted GNPR','Location','NW')
title('Real Gross National Product: 1909 - 1970');
ylabel('rGNP');
xlabel('Year');
hold off

Figure contains an axes. The axes with title Real Gross National Product: 1909 - 1970 contains 3 objects of type patch, line. These objects represent Forecast Horizon, True GNPR, Forecasted GNPR.

yF является вектором 10 на 1 будущих значений действительного GNP, соответствующим будущим данным предиктора.

Оцените среднюю квадратичную невязку корня прогноза (RMSE).

frmse = sqrt(mean((yF - yFT).^2))

frmse = 18.8470

RMSE прогноза является относительной мерой точности прогноза. В частности, вы оцениваете несколько моделей, используя различные допущения. Модель с самым низким прогнозным RMSE является наиболее эффективной моделью сравниваемых таковых.

Когда вы выполняете байесовскую регрессию с помощью SSVS, лучшая практика - настроить гиперпараметры. Один из способов сделать это - оценить прогнозируемый RMSE по сетке значений гиперзначений параметров и выбрать значение, которое минимизирует прогнозируемый RMSE.

Подробнее о

расширить все

Байесовская линейная регрессионая модель

A Bayesian linear regression model обрабатывает параметры β и σ² в модели многофакторной линейной регрессии (MLR) _yt = _xt β + _εt как случайные переменные.

Для времен t = 1,..., T:

_yt - наблюдаемая реакция.
_xt является 1-бай- (p + 1) вектором-строкой наблюдаемых значений p предикторов. Чтобы разместить точку пересечения модели, _x1 t = 1 для всех t.
β является (p + 1) -на-1 вектор-столбец коэффициентов регрессии, соответствующих переменным, которые составляют столбцы _xt.
_εt является случайным нарушением порядка со средним значением нуля и Cov (ε) = σ²I _T× T, в то время как ε является вектором T -by-1, содержащим все нарушения порядка. Эти предположения подразумевают, что вероятность данных является

$ℓ (β, σ^{2} | y, x) = \prod_{t = 1}^{T} ϕ (y_{t}; x_{t} β, σ^{2}) .$
ϕ (_yt; _xtβ, σ²) - Гауссова плотность вероятностей со средней _xtβ и отклонением σ² оценивается при _yt;.

Прежде чем рассматривать данные, вы накладываете joint prior distribution предположение на (β, σ²). В байесовском анализе вы обновляете распределение параметров с помощью информации о параметрах, полученных из вероятности данных. Результатом является joint posterior distribution (β, σ²) или conditional posterior distributions параметров.

Выбор переменной Стохастического поиска

Stochastic search variable selection (SSVS) является методом выбора переменной предиктора для байесовской линейной регрессии, который ищет пространство потенциальных моделей для моделей с высокой апостериорной вероятностью и усредняет модели, которые он находит после завершения поиска.

SSVS принимает, что предшествующее распределение каждого коэффициента регрессии является смесью двух Гауссовых распределений и предшествующего распределения σ² - обратная гамма с A формы и B шкалы. Предположим γ = {γ 1,.._., γK} быть скрытым, случайным regime indicator для коэффициентов регрессии β, где:

K - количество коэффициентов в модели (Intercept + NumPredictors). _γk = 1 означает, что _βk | σ², _γk является Гауссовым со средним 0 и дисперсией _c 1.
_γk = 0 означает, что предиктор является Гауссовым со средним 0 и дисперсией c 2.
Функция массы вероятности управляет распределением γ, и выборка пространство γ состоит из 2^K элементы.

Более конкретно, данные _γk и σ², _βk = _γk _c 1 Z + (1 _- γk) c 2 Z, где:

Z является стандартной нормальной случайной переменной.
Для сопряженных моделей (mixconjugateblm), _cj = σ²_Vj, j = 1,2.
Для полуконъюгатных моделей (mixsemiconjugateblm), _cj = _Vj.

c 1 относительно велика, что подразумевает, что соответствующий предиктор с большей вероятностью будет в модели. _c 2 относительно небольшая, что подразумевает, что соответствующий предиктор с меньшей вероятностью будет в модели, потому что распределение плотно вокруг 0.

В этой среде, если потенциал существует для общего числа K коэффициентов в модели, то пространство имеет 2^K модели, через которые можно искать. Потому что вычисление апостериорных вероятностей всех 2^K модели могут быть вычислительно дорогими, SSVS использует MCMC, чтобы выборка γ = {γ 1,.._., γK} и оценить апостериорные вероятности соответствующих моделей. Модели, которые выбирает алгоритм, часто имеют более высокие апостериорные вероятности. Алгоритм составляет предполагаемые апостериорные распределения β и σ² путем вычисления взвешенных средних значений дискретизированных моделей. Алгоритм приписывает больший вес тем моделям, которые отбираются чаще.

Получившееся апостериорное распределение для моделей сопряженной смеси аналитически прослеживается (см. Алгоритмы). Для получения дополнительной информации о апостериорном распределении смотрите Аналитически отслеживаемые апостериоры.

Алгоритмы

Апостериор закрытой формы существует для априоров сопряженной смеси в среде SSVS с K коэффициентами. Однако, потому что предыдущий β | σ²γ, маргинализированный по γ, равен 2^K-компонентная Гауссовская смесь, MATLAB^® использует MCMC вместо этого для выборки из апостериорной для числовой устойчивости.

Альтернативная функциональность

bayeslm функция может создать любой поддерживаемый объект предыдущей модели для Байесовской линейной регрессии.

Ссылки

[1] Джордж, Э. И. и Р. Э. Маккаллох. «Выбор переменной через выборку Гиббса». Журнал Американской статистической ассоциации. Том 88, № 423, 1993, с. 881-889.

[2] Koop, G., D. J. Porier, and J. L. Tobias. Байесовские эконометрические методы. Нью-Йорк, Нью-Йорк: Cambridge University Press, 2007.

Документация

mixconjugateblm

Описание

Создание

Синтаксис

Описание

Свойства

`NumPredictors` - Количество переменных предиктора
неотрицательное целое число

`Intercept` - Флаг включения точки пересечения регрессионной модели
`true` (по умолчанию) | `false`

`VarNames` - Имена переменных предиктора
вектор строка | вектор камера векторов символов

`Mu` - Компонентный средний гиперпараметр Гауссовой смеси перед β
`zeros(Intercept + NumPredictors,2)` (по умолчанию) | числовую матрицу

`V` - Компонентный коэффициент отклонения гиперпараметра Гауссовой смеси перед β
`repmat([10 0.1],Intercept + NumPredictors,1)` (по умолчанию) | положительную числовую матрицу

`Correlation` - Матрица предыдущей корреляции β
`eye(Intercept + NumPredictors)` (по умолчанию) | числовая, положительно определенная матрица

`A` - Формируйте гиперпараметр обратной гаммы перед σ²
`3` (по умолчанию) | числовой скаляр

`B` - Шкала гиперпараметра обратной гаммы перед σ²
`1` (по умолчанию) | положительный скалярный | `Inf`

Функции объекта

Примеры

Создайте предыдущую модель для SSVS

Выполните выбор переменной с помощью SSVS и опций по умолчанию

Задайте пользовательское распределение вероятностей предыдущего режима для SSVS

Прогнозные отклики с использованием апостериорного прогнозирующего распределения

Подробнее о

Байесовская линейная регрессионая модель

Выбор переменной Стохастического поиска

Алгоритмы

Альтернативная функциональность

Ссылки

См. также

Объекты

Темы

Документация по Econometrics Toolbox

Поддержка

Документация

mixconjugateblm

Описание

Создание

Синтаксис

Описание

Свойства

NumPredictors - Количество переменных предиктора неотрицательное целое число

Intercept - Флаг включения точки пересечения регрессионной модели true (по умолчанию) | false

VarNames - Имена переменных предиктора вектор строка | вектор камера векторов символов

Mu - Компонентный средний гиперпараметр Гауссовой смеси перед β zeros(Intercept + NumPredictors,2) (по умолчанию) | числовую матрицу

V - Компонентный коэффициент отклонения гиперпараметра Гауссовой смеси перед β repmat([10 0.1],Intercept + NumPredictors,1) (по умолчанию) | положительную числовую матрицу

Correlation - Матрица предыдущей корреляции β eye(Intercept + NumPredictors) (по умолчанию) | числовая, положительно определенная матрица

A - Формируйте гиперпараметр обратной гаммы перед σ2 3 (по умолчанию) | числовой скаляр

B - Шкала гиперпараметра обратной гаммы перед σ2 1 (по умолчанию) | положительный скалярный | Inf

Функции объекта

Примеры

Создайте предыдущую модель для SSVS

Выполните выбор переменной с помощью SSVS и опций по умолчанию

Задайте пользовательское распределение вероятностей предыдущего режима для SSVS

Прогнозные отклики с использованием апостериорного прогнозирующего распределения

Подробнее о

Байесовская линейная регрессионая модель

Выбор переменной Стохастического поиска

Алгоритмы

Альтернативная функциональность

Ссылки

См. также

Объекты

Темы

Документация по Econometrics Toolbox

Поддержка

`NumPredictors` - Количество переменных предиктора
неотрицательное целое число

`Intercept` - Флаг включения точки пересечения регрессионной модели
`true` (по умолчанию) | `false`

`VarNames` - Имена переменных предиктора
вектор строка | вектор камера векторов символов

`Mu` - Компонентный средний гиперпараметр Гауссовой смеси перед β
`zeros(Intercept + NumPredictors,2)` (по умолчанию) | числовую матрицу

`V` - Компонентный коэффициент отклонения гиперпараметра Гауссовой смеси перед β
`repmat([10 0.1],Intercept + NumPredictors,1)` (по умолчанию) | положительную числовую матрицу

`Correlation` - Матрица предыдущей корреляции β
`eye(Intercept + NumPredictors)` (по умолчанию) | числовая, положительно определенная матрица

`A` - Формируйте гиперпараметр обратной гаммы перед σ²
`3` (по умолчанию) | числовой скаляр

`B` - Шкала гиперпараметра обратной гаммы перед σ²
`1` (по умолчанию) | положительный скалярный | `Inf`