Ожидаемый Shortfall Estimation и Backtesting
В этом примере показано, как выполнить оценку и backtesting моделей Expected Shortfall.
Подверженный риску значения (VaR) и Ожидаемый недостаток (ES) должны быть оценены вместе, потому что оценка ES зависит от оценки VaR. Используя исторические данные, этот пример оценивает VaR и ES по тестовому окну, с помощью исторических и параметрических подходов VaR. Параметрический VaR вычисляется под предположением о нормальных и t распределениях.
Этот пример запускает ES назад тесты, поддержанные в esbacktest, esbacktestbysim, и esbacktestbyde функциональность, чтобы оценить эффективность моделей ES в тестовом окне.
esbacktest объект не запрашивает информации распределения. Как varbacktest объект, esbacktest возразите только берет тестовые данные в качестве входа. Входные параметры к esbacktest включайте данные о портфеле, данные VaR и соответствующий уровень VaR, и также данные о ES, поскольку это - то, что назад тестируется. Как varbacktest, esbacktest запускает тесты для одного портфеля, но может поддержать тестовые многоуровневые модели и несколько уровней VaR целиком. esbacktest возразите использованию предварительно вычисленные таблицы критических значений, чтобы определить, должны ли модели быть отклонены. Эти основанные на таблице тесты могут быть применены как аппроксимированные тесты для любой модели VaR. В этом примере они применяются к историческим и параметрическим моделям VaR теста спины. Они могли использоваться для других подходов VaR, таких как модели Monte-Carlo или Extreme-Value.
В отличие от этого esbacktestbysim и esbacktestbyde объекты запрашивают информацию распределения, а именно, имя распределения (normal или t) и параметры распределения в течение каждого дня в тестовом окне. esbacktestbysim и esbacktestbyde может только поддержать тест одна модель за один раз, потому что они соединяются с конкретным распределением, несмотря на то, что можно все еще отступить, тестируют несколько уровней VaR целиком. esbacktestbysim возразите реализует основанные на симуляции тесты, и это использует предоставленную информацию о распределении, чтобы запустить симуляции, чтобы определить критические значения. esbacktestbyde возразите тестам реализаций, где критические значения получены или на приближение большой выборки или на симуляцию (конечная выборка). conditionalDE протестируйте в esbacktestbyde возразите тестам для независимости в зависимости от времени, чтобы оценить, если существует доказательство автокорреляции в серии потерь хвоста. Все другие тесты являются тестами серьезности, чтобы оценить, если величина потерь хвоста сопоставима с предсказаниями модели. Оба esbacktestbysim и esbacktestbyde объекты поддерживают нормальные и t распределения. Эти тесты могут использоваться для любой модели, где базовое распределение результатов портфеля нормально или t, таково как экспоненциально взвешенное скользящее среднее значение (EWMA), гамма дельты, или обобщило авторегрессивное условное выражение heteroskedasticity модели (GARCH).
Для получения дополнительной информации о ES backtesting методология, смотрите esbacktest, esbacktestbysim, и esbacktestbyde, также см. [1], [2], [3] и [5] в Ссылках.
Оцените VaR и ES
Набор данных, используемый в этом примере, содержит исторические данные для индекса S&P, охватывающего приблизительно 10 лет с середины 1 993 в течение середины 2 003. Размер окна оценки задан как 250 дней, так, чтобы целый год данных использовался, чтобы оценить и исторический VaR и энергозависимость. Тестовое окно в этом примере запускается с начала 1 995 через конец 2 002.
В этом примере доверительный уровень VaR 97,5% используется, как требуется Основным Анализом Торговой Книги (FRTB) регулирование; см. [4].
load VaRExampleData.mat Returns = tick2ret(sp); DateReturns = dates(2:end); SampleSize = length(Returns); TestWindowStart = find(year(DateReturns)==1995,1); TestWindowEnd = find(year(DateReturns)==2002,1,'last'); TestWindow = TestWindowStart:TestWindowEnd; EstimationWindowSize = 250; DatesTest = DateReturns(TestWindow); ReturnsTest = Returns(TestWindow); VaRLevel = 0.975;
Исторический VaR является непараметрическим подходом, чтобы оценить VaR и ES от исторических данных по окну оценки. VaR является процентилью, и существуют альтернативные способы оценить процентиль распределения на основе конечной выборки. Один общий подход должен использовать prctile функция. Альтернативный подход должен отсортировать данные и определить точку разделения на основе доверительного уровня VaR и объема выборки. Точно так же существуют альтернативные подходы, чтобы оценить ES на основе конечной выборки.
hHistoricalVaRES локальная функция на нижней части этого примера использует конечно-демонстрационный подход для оценки VaR и ES после методологии, описанной в [7]. В конечной выборке количество наблюдений ниже VaR не может совпадать с общей вероятностью хвоста, соответствующей уровню VaR. Например, для 100 наблюдений и уровня VaR 97,5%, наблюдения хвоста равняются 2, который составляет 2% выборки, однако желаемая вероятность хвоста составляет 2,5%. Это могло быть четным хуже о выборках с повторными наблюдаемыми величинами, например, если бы вторые и третьи отсортированные значения были тем же самым, оба равняются VaR, то только самая маленькая наблюдаемая величина в выборке имела бы значение меньше, чем VaR, и это составляет 1% выборки, не желаемые 2,5%. Метод реализован в hHistoricalVaRES делает коррекцию так, чтобы вероятность хвоста была всегда сопоставима с уровнем VaR; см. [7] для деталей.
VaR_Hist = zeros(length(TestWindow),1); ES_Hist = zeros(length(TestWindow),1); for t = TestWindow i = t - TestWindowStart + 1; EstimationWindow = t-EstimationWindowSize:t-1; [VaR_Hist(i),ES_Hist(i)] = hHistoricalVaRES(Returns(EstimationWindow),VaRLevel); end
Следующий график показывает, что ежедневная газета возвращается, и VaR и ES, оцененный с историческим методом.
figure; plot(DatesTest,ReturnsTest,DatesTest,-VaR_Hist,DatesTest,-ES_Hist) legend('Returns','VaR','ES','Location','southeast') title('Historical VaR and ES') grid on
Для параметрических моделей должна быть вычислена энергозависимость возвратов. Учитывая энергозависимость, VaR и ES могут быть вычислены аналитически.
Нулевое среднее значение принято в этом примере, но может быть оценено похожим способом.
Для нормального распределения предполагаемая энергозависимость используется непосредственно, чтобы получить VaR и ES. Для t распределения шкалы местоположения масштабный коэффициент вычисляется из предполагаемой энергозависимости и степеней свободы.
hNormalVaRES и hTVaRES локальные функции берут в качестве входных параметров параметры распределения (который может быть передан как массивы), и возвратите VaR и ES. Эти локальные функции используют аналитические выражения для VaR и ES для нормальных и t распределений шкалы местоположения, соответственно; см. [6] для деталей.
% Estimate volatility over the test window Volatility = zeros(length(TestWindow),1); for t = TestWindow i = t - TestWindowStart + 1; EstimationWindow = t-EstimationWindowSize:t-1; Volatility(i) = std(Returns(EstimationWindow)); end % Mu=0 in this example Mu = 0; % Sigma (standard deviation parameter) for normal distribution = Volatility SigmaNormal = Volatility; % Sigma (scale parameter) for t distribution = Volatility * sqrt((DoF-2)/DoF) SigmaT10 = Volatility*sqrt((10-2)/10); SigmaT5 = Volatility*sqrt((5-2)/5); % Estimate VaR and ES, normal [VaR_Normal,ES_Normal] = hNormalVaRES(Mu,SigmaNormal,VaRLevel); % Estimate VaR and ES, t with 10 and 5 degrees of freedom [VaR_T10,ES_T10] = hTVaRES(10,Mu,SigmaT10,VaRLevel); [VaR_T5,ES_T5] = hTVaRES(5,Mu,SigmaT5,VaRLevel);
Следующий график показывает, что ежедневная газета возвращается, и VaR и ES, оцененный с нормальным методом.
figure; plot(DatesTest,ReturnsTest,DatesTest,-VaR_Normal,DatesTest,-ES_Normal) legend('Returns','VaR','ES','Location','southeast') title('Normal VaR and ES') grid on
Для параметрического подхода те же шаги могут использоваться, чтобы оценить VaR и ES для альтернативных подходов, таких как EWMA, приближения гаммы дельты и модели GARCH. Во всех этих параметрических подходах энергозависимость оценивается каждый день, или от обновления EWMA, от приближения гаммы дельты, или как условная энергозависимость модели GARCH. Энергозависимость может затем использоваться как выше, чтобы получить VaR и оценки ES или для нормальных или для t распределений шкалы местоположения.
ES Backtest без информации о распределении
esbacktest возразите предлагает два задних теста для моделей ES. Оба теста используют безусловную тестовую статистическую величину, предложенную Acerbi и Szekely в [1], данный
где
количество периодов времени в тестовом окне.
результат портфеля, то есть, портфель возвращаются или прибыль портфеля и потеря в течение периода t.
вероятность отказа VaR, заданного как уровень с 1 var.
предполагаемый ожидаемый недостаток в течение периода t.
индикатор отказа VaR на периоде t со значением 1 если , и 0 в противном случае.
Ожидаемое значение для этой тестовой статистической величины 0, и это отрицательно, когда существует доказательство недооценки риска. Чтобы определить, насколько отрицательный это должно быть должно отклонить модель, критические значения необходимы, и определить критические значения, дистрибутивные предположения необходимы для результатов портфеля .
Безусловная тестовая статистическая величина оказывается устойчивой через область значений дистрибутивных предположений для , от распределений с тонким хвостом такой столь же нормальный, к распределениям с тяжелым хвостом, таким как t с низкими степенями свободы (высоко одна цифры). Только большинство t распределений с тяжелым хвостом (низко одна цифры) приводит к более заметным различиям в критических значениях. См. [1] для деталей.
esbacktest объект использует в своих интересах устойчивость критических значений безусловной тестовой статистической величины и использует таблицы предварительно вычисленных критических значений, чтобы запустить ES назад тесты. esbacktest имеет два набора таблиц критического значения. Первый набор критических значений принимает что результаты портфеля следуйте за стандартным нормальным распределением; это - unconditionalNormal тест. Второй набор критических значений использует самые тяжелые хвосты, он принимает что результаты портфеля следуйте за t распределением с 3 степенями свободы; это - unconditionalT тест.
Безусловная тестовая статистическая величина чувствительна и к серьезности отказов VaR относительно оценки ES, и к также к количеству отказов VaR (сколько раз VaR нарушен). Поэтому один, но очень большой отказ VaR относительно ES (или только очень немного больших потерь) может вызвать отклонение модели в окне определенного времени. Большая потеря в день, когда оценка ES является также большой, не может повлиять на результаты испытаний так же как большая потеря, когда ES меньше. И модель может также быть отклонена в периоды со многими отказами VaR, даже если все нарушения VaR относительно малы и незначительно выше, чем VaR. Обе ситуации проиллюстрированы в этом примере.
esbacktest возразите берет в качестве входа тестовые данные, но никакая информация о распределении не предоставляется esbacktest. Опционально, можно задать ID для портфеля, и для каждой из моделей VaR и ES, являющихся backtested. Несмотря на то, что ID модели в этом примере действительно имеет ссылки распределения (например, "normal" или "t 10"), это только метки, используемые для создания отчетов о целях. Тесты не используют то, что первая модель является историческим методом VaR, или что другие модели являются альтернативными параметрическими моделями VaR. Параметры распределения, используемые, чтобы оценить VaR и ES в предыдущем разделе, не передаются esbacktest, и не используются ни в каком случае в этом разделе. Эти параметры, однако, должны быть обеспечены для основанных на симуляции тестов, поддержанных в esbacktestbysim объект, обсужденный в разделе Simulation-Based Tests, и для тестов, поддержан в esbacktestbyde объект обсужден в разделе Large-Sample и Simulation Tests.
ebt = esbacktest(ReturnsTest,[VaR_Hist VaR_Normal VaR_T10 VaR_T5],... [ES_Hist ES_Normal ES_T10 ES_T5],'PortfolioID',"S&P, 1995-2002",... 'VaRID',["Historical" "Normal","T 10","T 5"],'VaRLevel',VaRLevel); disp(ebt)
esbacktest with properties:
PortfolioData: [2087x1 double]
VaRData: [2087x4 double]
ESData: [2087x4 double]
PortfolioID: "S&P, 1995-2002"
VaRID: ["Historical" "Normal" "T 10" "T 5"]
VaRLevel: [0.9750 0.9750 0.9750 0.9750]
Запустите анализ путем выполнения summary функция.
s = summary(ebt); disp(s)
PortfolioID VaRID VaRLevel ObservedLevel ExpectedSeverity ObservedSeverity Observations Failures Expected Ratio Missing
________________ ____________ ________ _____________ ________________ ________________ ____________ ________ ________ ______ _______
"S&P, 1995-2002" "Historical" 0.975 0.96694 1.3711 1.4039 2087 69 52.175 1.3225 0
"S&P, 1995-2002" "Normal" 0.975 0.97077 1.1928 1.416 2087 61 52.175 1.1691 0
"S&P, 1995-2002" "T 10" 0.975 0.97173 1.2652 1.4063 2087 59 52.175 1.1308 0
"S&P, 1995-2002" "T 5" 0.975 0.97173 1.37 1.4075 2087 59 52.175 1.1308 0
ObservedSeverity столбец показывает среднее отношение потери для VaR на периодах, когда VaR был нарушен. ExpectedSeverity столбец использует среднее отношение ES к VaR в течение периодов нарушения VaR. Для "Historical" и "T 5" модели, наблюдаемое и ожидаемое строгое обращение сопоставимо. Однако для "Historical" метод, наблюдаемое количество отказов (Failures столбец), значительно выше, чем ожидаемое количество отказов (Expected столбец), приблизительно на 32% выше (см. Ratio столбец). Оба "Normal" и the "T 10" модели наблюдали строгое обращение намного выше, чем ожидаемое строгое обращение.
figure; subplot(2,1,1) bar(categorical(s.VaRID),[s.ExpectedSeverity,s.ObservedSeverity]) ylim([1 1.5]) legend('Expected','Observed','Location','southeast') title('Average Severity Ratio') subplot(2,1,2) bar(categorical(s.VaRID),[s.Expected,s.Failures]) ylim([40 70]) legend('Expected','Observed','Location','southeast') title('Number of VaR Failures')
runtests функция запускает все тесты и сообщает только о принятии или результате отклонения. Безусловный нормальный тест более строг. Для 8-летнего тестового окна здесь, две модели проваливают оба теста ("Historical" и "Normal"), одна модель проваливает безусловный нормальный тест, но проходит безусловный t тест ("T 10"), и одна модель проходит оба теста ("T 5").
t = runtests(ebt); disp(t)
PortfolioID VaRID VaRLevel UnconditionalNormal UnconditionalT
________________ ____________ ________ ___________________ ______________
"S&P, 1995-2002" "Historical" 0.975 reject reject
"S&P, 1995-2002" "Normal" 0.975 reject reject
"S&P, 1995-2002" "T 10" 0.975 reject accept
"S&P, 1995-2002" "T 5" 0.975 accept accept
Дополнительные детали о тестах могут быть получены путем вызывания отдельных тестовых функций. Вот детали для unconditionalNormal тест.
t = unconditionalNormal(ebt); disp(t)
PortfolioID VaRID VaRLevel UnconditionalNormal PValue TestStatistic CriticalValue Observations TestLevel
________________ ____________ ________ ___________________ _________ _____________ _____________ ____________ _________
"S&P, 1995-2002" "Historical" 0.975 reject 0.0047612 -0.37917 -0.23338 2087 0.95
"S&P, 1995-2002" "Normal" 0.975 reject 0.0043287 -0.38798 -0.23338 2087 0.95
"S&P, 1995-2002" "T 10" 0.975 reject 0.037528 -0.2569 -0.23338 2087 0.95
"S&P, 1995-2002" "T 5" 0.975 accept 0.13069 -0.16179 -0.23338 2087 0.95
Вот детали для unconditionalT тест.
t = unconditionalT(ebt); disp(t)
PortfolioID VaRID VaRLevel UnconditionalT PValue TestStatistic CriticalValue Observations TestLevel
________________ ____________ ________ ______________ ________ _____________ _____________ ____________ _________
"S&P, 1995-2002" "Historical" 0.975 reject 0.017032 -0.37917 -0.27415 2087 0.95
"S&P, 1995-2002" "Normal" 0.975 reject 0.015375 -0.38798 -0.27415 2087 0.95
"S&P, 1995-2002" "T 10" 0.975 accept 0.062835 -0.2569 -0.27415 2087 0.95
"S&P, 1995-2002" "T 5" 0.975 accept 0.16414 -0.16179 -0.27415 2087 0.95
Используя тесты для более усовершенствованных исследований
Этот раздел показывает, как использовать esbacktest возразите, чтобы запустить пользовательские тесты светофора, и также как запустить тесты по прокручивающимся тестовым окнам.
Один способ задать тест светофора путем объединения результатов безусловного нормального и безусловных тестов t. Поскольку безусловное нормальное более строго, можно задать тест светофора с этими уровнями:
Зеленый: модель проходит и безусловные нормальные и безусловные тесты t.
Желтый: модель проваливает безусловный нормальный тест, но проходит безусловный t тест.
Красный: модель отклоняется и безусловными нормальными и безусловными тестами t.
t = runtests(ebt); TLValue = (t.UnconditionalNormal=='reject')+(t.UnconditionalT=='reject'); t.TrafficLight = categorical(TLValue,0:2,{'green','yellow','red'},'Ordinal',true); disp(t)
PortfolioID VaRID VaRLevel UnconditionalNormal UnconditionalT TrafficLight
________________ ____________ ________ ___________________ ______________ ____________
"S&P, 1995-2002" "Historical" 0.975 reject reject red
"S&P, 1995-2002" "Normal" 0.975 reject reject red
"S&P, 1995-2002" "T 10" 0.975 reject accept yellow
"S&P, 1995-2002" "T 5" 0.975 accept accept green
Альтернативный пользовательский тест светофора может использовать один тест, но на различных тестовых доверительных уровнях:
Зеленый: результат к
'accept'с тестовым уровнем 95%.Желтый: результат к
'reject'на 95%-м тестовом уровне, но'accept'в 99%.Красный: результатом является
'reject'на 99%-м тестовом уровне.
Подобный тест предложен в [1] с высоким тестовым уровнем 99,99%.
t95 = runtests(ebt); % 95% is the default test level value t99 = runtests(ebt,'TestLevel',0.99); TLValue = (t95.UnconditionalNormal=='reject')+(t99.UnconditionalNormal=='reject'); tRolling = t95(:,1:3); tRolling.UnconditionalNormal95 = t95.UnconditionalNormal; tRolling.UnconditionalNormal99 = t99.UnconditionalNormal; tRolling.TrafficLight = categorical(TLValue,0:2,{'green','yellow','red'},'Ordinal',true); disp(tRolling)
PortfolioID VaRID VaRLevel UnconditionalNormal95 UnconditionalNormal99 TrafficLight
________________ ____________ ________ _____________________ _____________________ ____________
"S&P, 1995-2002" "Historical" 0.975 reject reject red
"S&P, 1995-2002" "Normal" 0.975 reject reject red
"S&P, 1995-2002" "T 10" 0.975 reject accept yellow
"S&P, 1995-2002" "T 5" 0.975 accept accept green
Результаты испытаний могут отличаться по различным тестовым окнам. Здесь, окно прокрутки одного года используется, чтобы запустить ES назад тесты за восемь отдельных лет, заполненных исходным тестовым окном. Первый пользовательский светофор, описанный выше, добавляется к таблице результатов испытаний. summary функция также вызвана в течение каждого отдельного года, чтобы просмотреть историю серьезности и количество отказов VaR.
sRolling = table; tRolling = table; for Year = 1995:2002 Ind = year(DatesTest)==Year; PortID = ['S&P, ' num2str(Year)]; PortfolioData = ReturnsTest(Ind); VaRData = [VaR_Hist(Ind) VaR_Normal(Ind) VaR_T10(Ind) VaR_T5(Ind)]; ESData = [ES_Hist(Ind) ES_Normal(Ind) ES_T10(Ind) ES_T5(Ind)]; ebt = esbacktest(PortfolioData,VaRData,ESData,... 'PortfolioID',PortID,'VaRID',["Historical" "Normal" "T 10" "T 5"],... 'VaRLevel',VaRLevel); if Year == 1995 sRolling = summary(ebt); tRolling = runtests(ebt); else sRolling = [sRolling;summary(ebt)]; %#ok<AGROW> tRolling = [tRolling;runtests(ebt)]; %#ok<AGROW> end end % Optional: Add the first user-defined traffic light test described above TLValue = (tRolling.UnconditionalNormal=='reject')+(tRolling.UnconditionalT=='reject'); tRolling.TrafficLight = categorical(TLValue,0:2,{'green','yellow','red'},'Ordinal',true);
Отобразите результаты, одна модель за один раз. "T 5" модель имеет лучшую эффективность в этих тестах (два "yellow"), и "Normal" смоделируйте худшее (три "red"и один "yellow").
disp(tRolling(tRolling.VaRID=="Historical",:)) PortfolioID VaRID VaRLevel UnconditionalNormal UnconditionalT TrafficLight
___________ ____________ ________ ___________________ ______________ ____________
"S&P, 1995" "Historical" 0.975 accept accept green
"S&P, 1996" "Historical" 0.975 reject accept yellow
"S&P, 1997" "Historical" 0.975 reject reject red
"S&P, 1998" "Historical" 0.975 accept accept green
"S&P, 1999" "Historical" 0.975 accept accept green
"S&P, 2000" "Historical" 0.975 accept accept green
"S&P, 2001" "Historical" 0.975 accept accept green
"S&P, 2002" "Historical" 0.975 reject reject red
disp(tRolling(tRolling.VaRID=="Normal",:)) PortfolioID VaRID VaRLevel UnconditionalNormal UnconditionalT TrafficLight
___________ ________ ________ ___________________ ______________ ____________
"S&P, 1995" "Normal" 0.975 accept accept green
"S&P, 1996" "Normal" 0.975 reject reject red
"S&P, 1997" "Normal" 0.975 reject reject red
"S&P, 1998" "Normal" 0.975 reject accept yellow
"S&P, 1999" "Normal" 0.975 accept accept green
"S&P, 2000" "Normal" 0.975 accept accept green
"S&P, 2001" "Normal" 0.975 accept accept green
"S&P, 2002" "Normal" 0.975 reject reject red
disp(tRolling(tRolling.VaRID=="T 10",:)) PortfolioID VaRID VaRLevel UnconditionalNormal UnconditionalT TrafficLight
___________ ______ ________ ___________________ ______________ ____________
"S&P, 1995" "T 10" 0.975 accept accept green
"S&P, 1996" "T 10" 0.975 reject reject red
"S&P, 1997" "T 10" 0.975 reject accept yellow
"S&P, 1998" "T 10" 0.975 accept accept green
"S&P, 1999" "T 10" 0.975 accept accept green
"S&P, 2000" "T 10" 0.975 accept accept green
"S&P, 2001" "T 10" 0.975 accept accept green
"S&P, 2002" "T 10" 0.975 reject reject red
disp(tRolling(tRolling.VaRID=="T 5",:)) PortfolioID VaRID VaRLevel UnconditionalNormal UnconditionalT TrafficLight
___________ _____ ________ ___________________ ______________ ____________
"S&P, 1995" "T 5" 0.975 accept accept green
"S&P, 1996" "T 5" 0.975 reject accept yellow
"S&P, 1997" "T 5" 0.975 accept accept green
"S&P, 1998" "T 5" 0.975 accept accept green
"S&P, 1999" "T 5" 0.975 accept accept green
"S&P, 2000" "T 5" 0.975 accept accept green
"S&P, 2001" "T 5" 0.975 accept accept green
"S&P, 2002" "T 5" 0.975 reject accept yellow
Год 2002 является примером года с относительно маленьким строгим обращением, все же многими отказами VaR. Все модели выполняют плохо в 2 002, даже при том, что наблюдаемое строгое обращение является низким. Однако количество отказов VaR для некоторых моделей является более двух раз ожидаемым количеством отказов VaR.
disp(summary(ebt))
PortfolioID VaRID VaRLevel ObservedLevel ExpectedSeverity ObservedSeverity Observations Failures Expected Ratio Missing
___________ ____________ ________ _____________ ________________ ________________ ____________ ________ ________ ______ _______
"S&P, 2002" "Historical" 0.975 0.94636 1.2022 1.2 261 14 6.525 2.1456 0
"S&P, 2002" "Normal" 0.975 0.94636 1.1928 1.2111 261 14 6.525 2.1456 0
"S&P, 2002" "T 10" 0.975 0.95019 1.2652 1.2066 261 13 6.525 1.9923 0
"S&P, 2002" "T 5" 0.975 0.95019 1.37 1.2077 261 13 6.525 1.9923 0
Следующий рисунок показывает данные по целому 8-летнему окну и отношение серьезности год за годом (ожидаемый и наблюдаемый) для "Historical" модель. Абсолютный размер потерь не так важен как относительный размер по сравнению с ES (или эквивалентно, по сравнению с VaR). И 1997 и 1998 имеют большие потери, сопоставимые в величине. Однако ожидаемая серьезность в 1 998 намного выше (большие оценки ES). В целом, "Historical" метод, кажется, преуспевает относительно отношений серьезности.
sH = sRolling(sRolling.VaRID=="Historical",:); figure; subplot(2,1,1) FailureInd = ReturnsTest<-VaR_Hist; plot(DatesTest,ReturnsTest,DatesTest,-VaR_Hist,DatesTest,-ES_Hist) hold on plot(DatesTest(FailureInd),ReturnsTest(FailureInd),'.') hold off legend('Returns','VaR','ES','Location','best') title('Historical VaR and ES') grid on subplot(2,1,2) bar(1995:2002,[sH.ExpectedSeverity,sH.ObservedSeverity]) ylim([1 1.8]) legend('Expected','Observed','Location','best') title('Yearly Average Severity Ratio, Historical VaR')
Однако подобная визуализация с ожидаемым против наблюдаемого количества отказов VaR показывает что "Historical" метод имеет тенденцию быть нарушенным намного больше раз, чем ожидалось. Например, даже при том, что в 2 002 ожидаемое среднее отношение серьезности очень близко к наблюдаемому, количество отказов VaR было более двух раз ожидаемым номером. Это затем приводит к непройденным тестам и для безусловных нормальных и для безусловных тестов t.
figure; subplot(2,1,1) plot(DatesTest,ReturnsTest,DatesTest,-VaR_Hist,DatesTest,-ES_Hist) hold on plot(DatesTest(FailureInd),ReturnsTest(FailureInd),'.') hold off legend('Returns','VaR','ES','Location','best') title('Historical VaR and ES') grid on subplot(2,1,2) bar(1995:2002,[sH.Expected,sH.Failures]) legend('Expected','Observed','Location','best') title('Yearly VaR Failures, Historical VaR')
Основанные на симуляции тесты
esbacktestbysim поддержка объектов пять основанных на симуляции ES назад тестирует. esbacktestbysim запрашивает информацию распределения для результатов портфеля, а именно, имя распределения ("normal" или "t") и параметры распределения в течение каждого дня в тестовом окне. esbacktestbysim использует предоставленную информацию о распределении, чтобы запустить симуляции, чтобы определить критические значения. Тесты поддержаны в esbacktestbysim conditional, unconditional, quantile, minBiasAbsolute, и minBiasRelative. Это реализации тестов, предложенных Acerbi и Szekely в [1], и [2], [3] для 2 017 и 2019.
esbacktestbysim поддержка объектов нормальные и t распределения. Эти тесты могут использоваться для любой модели, где базовое распределение результатов портфеля нормально или t, таково как экспоненциально взвешенное скользящее среднее значение (EWMA), гамма дельты, или обобщило авторегрессивное условное выражение heteroskedasticity модели (GARCH).
ES backtests обязательно аппроксимирован в этом, они чувствительны к ошибкам в предсказанном VaR. Однако минимально смещенный тест имеет только маленькую чувствительность к ошибкам VaR, и чувствительность является благоразумной, в том смысле, что ошибки VaR приводят к более карательному тесту ES. См. Acerbi-Szekely ([2], [3] для 2 017 и 2019) для деталей. Когда информация о распределении доступна, минимально смещенный тест рекомендуется (см. minBiasAbsolute, minBiasRelative).
"Normal", "T 10", и "T 5" модели могут быть backtested с основанными на симуляции тестами в esbacktestbysim. В целях рисунка, только "T 5" backtested. Имя распределения ("t") и параметры (степени свободы, местоположение и шкала) обеспечиваются когда esbacktestbysim объект создается.
rng('default'); % for reproducibility; the esbacktestbysim constructor runs a simulation ebts = esbacktestbysim(ReturnsTest,VaR_T5,ES_T5,"t",'DegreesOfFreedom',5,... 'Location',Mu,'Scale',SigmaT5,... 'PortfolioID',"S&P",'VaRID',"T 5",'VaRLevel',VaRLevel);
Рекомендуемый рабочий процесс является тем же самым: во-первых, запустите summary функция, затем запустите runtests функция, и затем запускает отдельные тестовые функции.
summary функция предоставляет точно ту же информацию как summary функция от esbacktest.
s = summary(ebts); disp(s)
PortfolioID VaRID VaRLevel ObservedLevel ExpectedSeverity ObservedSeverity Observations Failures Expected Ratio Missing
___________ _____ ________ _____________ ________________ ________________ ____________ ________ ________ ______ _______
"S&P" "T 5" 0.975 0.97173 1.37 1.4075 2087 59 52.175 1.1308 0
runtests функция показывает, что финал принимает или отклоняет результат.
t = runtests(ebts); disp(t)
PortfolioID VaRID VaRLevel Conditional Unconditional Quantile MinBiasAbsolute MinBiasRelative
___________ _____ ________ ___________ _____________ ________ _______________ _______________
"S&P" "T 5" 0.975 accept accept accept accept accept
Дополнительные детали о результатах испытаний получены путем вызывания отдельных тестовых функций. Например, вызовите minBiasAbsolute тест. Первый выход, t, имеет результаты испытаний и дополнительные детали, такие как p-значение, тестовая статистическая величина, и так далее. Второй выход, s, содержит симулированные тестовые значения статистической величины, принимающие, что дистрибутивные предположения правильны. Например, esbacktestbysim сгенерированный 1 000 сценариев результатов портфеля в этом случае, где каждый сценарий является рядом 2 087 наблюдений, симулированных от t случайных переменных с 5 степенями свободы и данным местоположением и масштабными коэффициентами. Симулированные значения возвращены в дополнительном s типичные значения выхода show тестовой статистической величины, если дистрибутивные предположения правильны. Это симулированная статистика, используемая, чтобы определить значение тестов, то есть, критических значений, о которых сообщают, и p-значений.
[t,s] = minBiasAbsolute(ebts); disp(t)
PortfolioID VaRID VaRLevel MinBiasAbsolute PValue TestStatistic CriticalValue Observations Scenarios TestLevel
___________ _____ ________ _______________ ______ _____________ _____________ ____________ _________ _________
"S&P" "T 5" 0.975 accept 0.299 -0.00080059 -0.0030373 2087 1000 0.95
whos sName Size Bytes Class Attributes s 1x1000 8000 double
Выберите тест, чтобы показать результаты испытаний и визуализировать значение тестов. Гистограмма показывает распределение симулированной тестовой статистики, и звездочка показывает, что значение тестовой статистической величины для фактического портфеля возвращается.
ESTestChoice ="MinBiasAbsolute"; switch ESTestChoice case 'MinBiasAbsolute' [t, s] = minBiasAbsolute (ebts); case 'MinBiasRelative' [t, s] = minBiasRelative (ebts); case 'Conditional' [t, s] = условное выражение (ebts); case 'Unconditional' [t, s] = безусловный (ebts); case 'Quantile' [t, s] = квантиль (ebts); end disp (t)
PortfolioID VaRID VaRLevel MinBiasAbsolute PValue TestStatistic CriticalValue Observations Scenarios TestLevel
___________ _____ ________ _______________ ______ _____________ _____________ ____________ _________ _________
"S&P" "T 5" 0.975 accept 0.299 -0.00080059 -0.0030373 2087 1000 0.95
figure; histogram(s); hold on; plot(t.TestStatistic,0,'*'); hold off; Title = sprintf('%s: %s, p-value: %4.3f',ESTestChoice,t.VaRID,t.PValue); title(Title)
О безусловной тестовой статистической величине сообщает esbacktestbysim точно то же самое как безусловная тестовая статистическая величина, о которой сообщает esbacktest. Однако критические значения, о которых сообщает esbacktestbysim основаны на симуляции с помощью t распределения с 5 степенями свободы и данным местоположением и масштабными коэффициентами. esbacktest объект дает аппроксимированные результаты испытаний для "T 5" модель, тогда как результаты здесь специфичны для предоставленной информации о распределении. Кроме того, для conditional протестируйте, это - визуализация автономного условного теста (ConditionalOnly приведите к приведенной выше таблице). Итоговый условный результат испытаний (Conditional столбец), зависит также от предварительного VaR backtest (VaRTestResult столбец).
"T 5" модель принята пятью тестами.
esbacktestbysim объект обеспечивает simulate функционируйте, чтобы запустить новую симуляцию. Например, если существует пограничный результат испытаний, где тестовая статистическая величина около критического значения, вы можете использовать simulate функция, чтобы симулировать новые сценарии. В случаях, где больше точности требуется, может быть запущена большая симуляция.
esbacktestbysim тесты могут быть запущены по прокручивающемуся окну, после того же подхода, описанного выше для esbacktest. Пользовательские тесты светофора могут также быть заданы, например, с помощью двух различных тестовых доверительных уровней, похожих на то, что было сделано выше для esbacktest.
Большая выборка и тесты симуляции
esbacktestbyde поддержка объектов два ES назад тестирует с критическими значениями, определенными или приближением большой выборки или симуляцией (конечная выборка). esbacktestbyde запрашивает информацию распределения для результатов портфеля, а именно, имя распределения ("normal" или "t") и параметры распределения в течение каждого дня в тестовом окне. Это не требует VaR данных о ES. esbacktestbyde использует предоставленную информацию о распределении, чтобы сопоставить результаты портфеля в "ранги", то есть, применять кумулятивную функцию распределения, чтобы сопоставить возвращается в значения в единичном интервале, где тестовые статистические данные заданы. esbacktestbyde может определить критические значения при помощи приближения большой выборки или конечно-демонстрационной симуляции.
Тесты поддержаны в esbacktestbyde conditionalDE и unconditionalDE. Это реализации тестов, предложенных Du и Escanciano в [3]. unconditionalDE тесты и все тесты, ранее обсужденные в этом примере, являются тестами серьезности, которые оценивают, если величина потерь хвоста сопоставима с предсказаниями модели. conditionalDE протестируйте, однако, тест для независимости в зависимости от времени, которые оценивают, если существует доказательство автокорреляции в серии потерь хвоста.
esbacktestbyde поддержка объектов нормальные и t распределения. Эти тесты могут использоваться для любой модели, где базовое распределение результатов портфеля нормально или t, таково как экспоненциально взвешенное скользящее среднее значение (EWMA), гамма дельты, или обобщило авторегрессивное условное выражение heteroskedasticity модели (GARCH).
"Normal", "T 10", и "T 5" модели могут быть backtested с тестами в esbacktestbyde. В целях рисунка, только "T 5" backtested. Имя распределения ("t") и параметры (DegreesOfFreedomместоположение , и Scale) обеспечиваются когда esbacktestbyde объект создается.
rng('default'); % for reproducibility; the esbacktestbyde constructor runs a simulation ebtde = esbacktestbyde(ReturnsTest,"t",'DegreesOfFreedom',5,... 'Location',Mu,'Scale',SigmaT5,... 'PortfolioID',"S&P",'VaRID',"T 5",'VaRLevel',VaRLevel);
Рекомендуемый рабочий процесс является тем же самым: во-первых, запустите summary функция, затем запустите runtests функция, и затем запускает отдельные тестовые функции. summary функция предоставляет точно ту же информацию как summary функция от esbacktest.
s = summary(ebtde); disp(s)
PortfolioID VaRID VaRLevel ObservedLevel ExpectedSeverity ObservedSeverity Observations Failures Expected Ratio Missing
___________ _____ ________ _____________ ________________ ________________ ____________ ________ ________ ______ _______
"S&P" "T 5" 0.975 0.97173 1.37 1.4075 2087 59 52.175 1.1308 0
runtests функция показывает, что финал принимает или отклоняет результат.
t = runtests(ebtde); disp(t)
PortfolioID VaRID VaRLevel ConditionalDE UnconditionalDE
___________ _____ ________ _____________ _______________
"S&P" "T 5" 0.975 reject accept
Дополнительные детали о результатах испытаний получены путем вызывания отдельных тестовых функций.
t = conditionalDE(ebtde); disp(t)
PortfolioID VaRID VaRLevel ConditionalDE PValue TestStatistic CriticalValue AutoCorrelation Observations CriticalValueMethod NumLags Scenarios TestLevel
___________ _____ ________ _____________ __________ _____________ _____________ _______________ ____________ ___________________ _______ _________ _________
"S&P" "T 5" 0.975 reject 0.00034769 12.794 3.8415 0.078297 2087 "large-sample" 1 NaN 0.95
По умолчанию критические значения определяются приближением большой выборки. Критические значения на основе конечно-демонстрационного распределения, оцененного при помощи симуляции, доступны при использовании 'CriticalValueMethod' дополнительный аргумент пары "имя-значение".
[t,s] = conditionalDE(ebtde,'CriticalValueMethod','simulation'); disp(t)
PortfolioID VaRID VaRLevel ConditionalDE PValue TestStatistic CriticalValue AutoCorrelation Observations CriticalValueMethod NumLags Scenarios TestLevel
___________ _____ ________ _____________ ______ _____________ _____________ _______________ ____________ ___________________ _______ _________ _________
"S&P" "T 5" 0.975 reject 0.01 12.794 3.7961 0.078297 2087 "simulation" 1 1000 0.95
Второй выход, s, содержит симулированные тестовые значения статистической величины. Следующая визуализация полезна для сравнения, как хорошо симулированное конечно-демонстрационное распределение совпадает с приближением большой выборки. График показывает, что хвост распределения тестовой статистики немного более тяжел для основанного на симуляции (конечно-демонстрационного) распределения. Это означает, что основанная на симуляции версия тестов более терпима и не отклонила бы в некоторых случаях, где приближение большой выборки заканчивается отклонение. Как тесно соответствие распределений большой выборки и симуляции зависит не только от количества наблюдений в тестовом окне, но также и на доверительном уровне VaR (более высокий вывод уровней VaR к более тяжелым хвостам в конечно-демонстрационном распределении).
xLS = 0:0.05:30; pdfLS = chi2pdf(xLS,t.NumLags); histogram(s,'Normalization',"pdf") hold on plot(xLS,pdfLS) hold off ylim([0 0.1]) legend({'Simulation','Large-Sample'}) Title = sprintf('Conditional Test Distribution\nVaR Level: %g%%, Sample Size = %d',VaRLevel*100,t.Observations); title(Title)
Подобные шаги могут использоваться, чтобы видеть детали о unconditionalDE протестируйте, и сравнить большую выборку и основанные на симуляции результаты.
esbacktestbyde объект обеспечивает simulate функционируйте, чтобы запустить новую симуляцию. Например, если существует пограничный результат испытаний, где тестовая статистическая величина около критического значения, можно использовать simulate функция, чтобы симулировать новые сценарии. Кроме того, по умолчанию симуляция хранит результаты максимум для 5 задержек для условного теста, поэтому если основанные на симуляции результаты для большего числа задержек необходимы, необходимо использовать simulate функция.
Если тесты приближения большой выборки являются единственными тестами, в которых вы нуждаетесь, потому что они надежны для конкретного объема выборки и уровня VaR, можно выключить симуляцию при создании esbacktestbyde объект при помощи 'Simulate' дополнительный вход.
esbacktestbyde тесты могут быть запущены по прокручивающемуся окну, после того же подхода, описанного выше для esbacktest. Можно также задать тесты светофора, например, вы могли использовать два различных тестовых доверительных уровня, похожие на то, что было сделано выше для esbacktest.
Заключения
Контрастировать три ES backtesting объекты:
esbacktestобъект используется для широкого спектра дистрибутивных предположений: исторический VaR, параметрический VaR, VaR Монте-Карло или модели экстремума. Однакоesbacktestпредложения аппроксимируют результаты испытаний на основе двух изменений того же теста: безусловная тестовая статистическая величина с двумя различными наборами предварительно вычисленных критических значений (unconditionalNormalиunconditionalT).esbacktestbysimобъект используется для параметрических методов с нормальными и t распределениями (который включает EWMA, GARCH и гамму дельты), и требует параметров распределения как входных параметров.esbacktestbysimпредложения пять различных тестов (conditional,unconditional,quantile,minBiasAbsolute, иminBiasRelativeи критические значения для этих тестов симулированы с помощью информации о распределении, которую вы предоставляете, и поэтому, более точны. Несмотря на то, что весь ES backtests чувствителен к ошибкам расчета VaR, минимально смещенный тест имеет только маленькую чувствительность и рекомендуется (см. Acerbi-Szekely 2017 и 2019 для деталей [2], [3]).esbacktestbydeобъект также используется для параметрических методов с нормальными и t распределениями (который включает EWMA, GARCH и гамму дельты), и требует параметров распределения как входных параметров.esbacktestbydeсодержит серьезность (unconditionalDE) и независимость времени (conditionalDE) тесты и это имеют удобство большой выборки, быструю версию тестов.conditionalDEтест является единственным тестом для независимости в зависимости от времени для моделей ES среди всех тестов, поддержанных в этих трех классах.
Как показано в этом примере, все три ES backtesting объекты обеспечивают функциональность, чтобы сгенерировать отчеты относительно строгого обращения, отказов VaR и информации о результатах испытаний. Три ES backtest объекты обеспечивают гибкость, чтобы основываться на них. Например, можно создать пользовательские тесты светофора и запустить ES backtesting анализ по прокручивающимся окнам.
Ссылки
[1] Acerbi, C. и Б. Сзекели. "Бэктестинг ожидаемый недостаток". MSCI Inc., декабрь 2014.
[2] Acerbi, C. и Б. Сзекели. "Общие свойства статистики Backtestable. SSRN электронный журнал. Январь 2017.
[3] Acerbi, C. и Б. Сзекели. "Минимально смещенный Backtest для ES". Риск. Сентябрь 2019.
[4] Базельский Комитет по Банковскому надзору. "Требования Минимального капитала для Риска Рынка". Январь 2016, https://www.bis.org/bcbs/publ/d352.htm
[5] Du, Z. и Х. К. Эскансиано. "Бэктестинг ожидаемый недостаток: составление риска хвоста". Наука управления. Vol 63, выпуск 4, апрель 2017.
[6] Макнейл, A., Р. Фрэй и П. Эмбречтс. Количественное управление рисками: Концепции, методы и инструменты. Издательство Принстонского университета. 2005.
[7] Rockafellar, R. T. и С. Урясев. "Условное выражение, Подверженное риску значения Общих Распределений Потерь". Журнал Банковского дела и Финансов. Издание 26, 2002, стр 1443-1471.
Локальные функции
function [VaR,ES] = hHistoricalVaRES(Sample,VaRLevel) % Compute historical VaR and ES % See [7] for technical details % Convert to losses Sample = -Sample; N = length(Sample); k = ceil(N*VaRLevel); z = sort(Sample); VaR = z(k); if k < N ES = ((k - N*VaRLevel)*z(k) + sum(z(k+1:N)))/(N*(1 - VaRLevel)); else ES = z(k); end end function [VaR,ES] = hNormalVaRES(Mu,Sigma,VaRLevel) % Compute VaR and ES for normal distribution % See [6] for technical details VaR = -1*(Mu-Sigma*norminv(VaRLevel)); ES = -1*(Mu-Sigma*normpdf(norminv(VaRLevel))./(1-VaRLevel)); end function [VaR,ES] = hTVaRES(DoF,Mu,Sigma,VaRLevel) % Compute VaR and ES for t location-scale distribution % See [6] for technical details VaR = -1*(Mu-Sigma*tinv(VaRLevel,DoF)); ES_StandardT = (tpdf(tinv(VaRLevel,DoF),DoF).*(DoF+tinv(VaRLevel,DoF).^2)./((1-VaRLevel).*(DoF-1))); ES = -1*(Mu-Sigma*ES_StandardT); end
Связанные примеры
- Ожидаемый недостаток (ES) рабочий процесс Backtesting без информации о распределении модели
- Рабочий процесс для Ожидаемого недостатка (ES) Backtesting Du и Escanciano