Обучение дерева регрессии с помощью carsmall и создайте PDP, который показывает взаимосвязь между элементом и прогнозируемыми откликами в обученном дереве регрессии.

Загрузить carsmall набор данных.

load carsmall

Определить Weight, Cylinders, и Horsepower в качестве переменных предиктора (X), и MPG в качестве переменной ответа (Y).

X = [Weight,Cylinders,Horsepower];
Y = MPG;

Обучение дерева регрессии с помощью X и Y.

Mdl = fitrtree(X,Y);

Просмотр графического представления обученного дерева регрессии.

view(Mdl,'Mode','graph')

Создайте PDP первой предикторной переменной, Weight.

plotPartialDependence(Mdl,1)

Линия на графике представляет усредненные частичные отношения между Weight (помечен как x1) и MPG (помечен как Y) в обученном дереве регрессии Mdl. x-axis минорные засечки представляют уникальные значения в x1.

Средство просмотра дерева регрессии показывает, что первым решением является x1 меньше 3085,5. PDP также показывает большое изменение вблизи x1 = 3085.5. Средство просмотра дерева визуализирует каждое решение в каждом узле на основе переменных предиктора. Можно найти несколько узлов, разделенных на основе значений x1, но определяя зависимость Y на x1 нелегко. Тем не менее, plotPartialDependence графики средние прогнозируемые ответы против x1, так что вы можете ясно видеть частичную зависимость Y на x1.

Этикетки x1 и Y являются значениями по умолчанию для имен предикторов и имени ответа. Можно изменить эти имена, указав аргументы пары имя-значение 'PredictorNames' и 'ResponseName' когда вы тренируетесь Mdl использование fitrtree. Можно также изменить метки осей с помощью xlabel и ylabel функции.

Тренируйте наивную модель классификации Байеса с помощью fisheriris набор данных и создание PDP, который показывает взаимосвязь между переменной предиктора и прогнозируемыми показателями (апостериорные вероятности) для нескольких классов.

Загрузить fisheriris набор данных, содержащий виды (species) и измерения (meas) на чашелистике длиной, чашелистиком шириной, лепестком длиной и лепестком шириной для 150 экземпляров радужки. Набор данных содержит по 50 экземпляров от каждого из трёх видов: сетоза, версиколор и virginica.

load fisheriris

Тренировать наивную модель классификации Байеса с помощью species в качестве ответа и meas в качестве предикторов.

Mdl = fitcnb(meas,species);

Создание PDP баллов, прогнозируемых Mdl для всех трех классов species по сравнению с третьей переменной предиктора x3. Укажите метки класса с помощью ClassNames имущество Mdl.

plotPartialDependence(Mdl,3,Mdl.ClassNames);

Согласно этой модели, вероятность virginica увеличивается с x3. Вероятность setosa составляет около 0,33, откуда x3 от 0 до около 2,5, а затем вероятность падает почти до 0.

Обучить модель регрессии гауссова процесса, используя сгенерированные данные выборки, где переменная ответа включает взаимодействия между переменными предиктора. Затем создайте графики ICE, показывающие взаимосвязь между элементом и прогнозируемыми откликами для каждого наблюдения.

Создание данных предиктора выборки x1 и x2.

rng('default') % For reproducibility
n = 200;
x1 = rand(n,1)*2-1;
x2 = rand(n,1)*2-1;

Создание значений ответа, включающих взаимодействия между x1 и x2.

Y = x1-2*x1.*(x2>0)+0.1*rand(n,1);

Создание модели регрессии гауссова процесса с помощью [x1 x2] и Y.

Mdl = fitrgp([x1 x2],Y);

Создать рисунок, включающий PDP (красная линия) для первого предиктора x1, график рассеяния (маркеры окружности) x1 и прогнозируемые ответы, и набор графиков ICE (серые линии) путем указания 'Conditional' как 'centered'.

plotPartialDependence(Mdl,1,'Conditional','centered')

Когда 'Conditional' является 'centered', plotPartialDependence смещает графики так, что все графики начинаются с нуля, что полезно при изучении совокупного эффекта выбранного элемента.

PDP находит усредненные связи, поэтому он не обнаруживает скрытых зависимостей, особенно когда ответы включают взаимодействия между элементами. Однако графики ICE четко показывают две различные зависимости ответов от x1.

Обучение ансамбля классификационных моделей и создание двух PDP, один с использованием набора обучающих данных, а другой с использованием нового набора данных.

Загрузить census1994 набор данных, который содержит годовые данные о зарплате в США, классифицируемые как <=50K или >50Kи несколько демографических переменных.

load census1994

Извлечение подмножества переменных для анализа из таблиц adultdata и adulttest.

X = adultdata(:,{'age','workClass','education_num','marital_status','race', ...
   'sex','capital_gain','capital_loss','hours_per_week','salary'});
Xnew = adulttest(:,{'age','workClass','education_num','marital_status','race', ...
   'sex','capital_gain','capital_loss','hours_per_week','salary'});

Обучение ансамбля классификаторов salary в качестве ответа и остальные переменные в качестве предикторов с помощью функции fitcensemble. Для двоичной классификации fitcensemble агрегирует 100 деревьев классификации с использованием LogitBoost способ.

Mdl = fitcensemble(X,'salary');

Проверьте имена классов в Mdl.

Mdl.ClassNames

ans = 2x1 categorical
     <=50K 
     >50K 

Создайте график частичной зависимости баллов, предсказанных Mdl для второго класса salary (>50K) против предиктора age использование данных обучения.

plotPartialDependence(Mdl,'age',Mdl.ClassNames(2))

Создание PDP баллов для класса >50K против age использование новых данных предиктора из таблицы Xnew.

plotPartialDependence(Mdl,'age',Mdl.ClassNames(2),Xnew)

Два графика показывают сходные формы для частичной зависимости прогнозируемой оценки высокого salary (>50K) на age. Оба сюжета указывают на то, что прогнозируемый балл высокой зарплаты быстро повышается до 30 лет, затем остается почти на ровном месте до 60 лет, а затем быстро падает. Однако график, основанный на новых данных, дает несколько более высокие баллы для возрастов старше 65 лет.

Обучение регрессионного ансамбля с помощью carsmall и создайте график PDP и графики ICE для каждой переменной предиктора, используя новый набор данных, carbig. Затем сравните цифры, чтобы проанализировать важность переменных предиктора. Кроме того, сравните результаты с оценками важности предиктора, возвращенными predictorImportance функция.

Загрузить carsmall набор данных.

load carsmall

Определить Weight, Cylinders, Horsepower, и Model_Year в качестве переменных предиктора (X), и MPG в качестве переменной ответа (Y).

X = [Weight,Cylinders,Horsepower,Model_Year];
Y = MPG;

Обучение регрессионного ансамбля с помощью X и Y.

Mdl = fitrensemble(X,Y, ...
    'PredictorNames',{'Weight','Cylinders','Horsepower','Model Year'}, ...
    'ResponseName','MPG');

Создайте важность переменных предиктора с помощью plotPartialDependence и predictorImportance функции. plotPartialDependence функция визуализирует взаимосвязи между выбранным предиктором и прогнозируемыми ответами. predictorImportance суммирует важность предиктора с одним значением.

Создайте рисунок, включающий график PDP (красная линия) и графики ICE (серые линии) для каждого предиктора с помощью plotPartialDependence и определение 'Conditional','absolute'. Каждый рисунок также включает график рассеяния (маркеры круга) выбранного предиктора и предсказанных ответов. Также загрузите carbig набор данных и использовать его в качестве новых данных предиктора, Xnew. Когда вы предоставите Xnew, plotPartialDependence функции использует Xnew вместо данных предиктора в Mdl.

load carbig
Xnew = [Weight,Cylinders,Horsepower,Model_Year];

figure
t = tiledlayout(2,2,'TileSpacing','compact');
title(t,'Individual Conditional Expectation Plots')

for i = 1 : 4
    nexttile
    plotPartialDependence(Mdl,i,Xnew,'Conditional','absolute')
    title('')
end

Вычислить оценки важности предиктора с помощью predictorImportance. Эта функция суммирует изменения среднеквадратичной ошибки (MSE) из-за разбиений на каждом предикторе, а затем делит сумму на число узлов ветви.

imp = predictorImportance(Mdl);
figure
bar(imp)
title('Predictor Importance Estimates')
ylabel('Estimates')
xlabel('Predictors')
ax = gca;
ax.XTickLabel = Mdl.PredictorNames;

Переменная Weight оказывает наибольшее влияние на MPG в соответствии с важностью предиктора. PDP Weight также показывает, что MPG имеет высокую частичную зависимость от Weight. Переменная Cylinders оказывает наименьшее влияние на MPG в соответствии с важностью предиктора. PDP Cylinders также показывает, что MPG не сильно меняется в зависимости от Cylinders.

Тренируйте обобщенную аддитивную модель (GAM) с линейными терминами и терминами взаимодействия для предикторов. Затем создайте PDP с линейными и интерактивными элементами и PDP с только линейными элементами. Укажите, следует ли включать термины взаимодействия при создании PDP.

Загрузить ionosphere набор данных. Этот набор данных имеет 34 предиктора и 351 двоичный отклик для радарных возвращений, либо плохой ('b') или хорошо ('g').

load ionosphere

Обучение GAM с использованием предикторов X и метки классов Y. Рекомендуется указывать имена классов. Укажите, чтобы включить 10 наиболее важных терминов взаимодействия.

Mdl = fitcgam(X,Y,'ClassNames',{'b','g'},'Interactions',10);

Mdl является ClassificationGAM объект модели.

Перечисление терминов взаимодействия в Mdl.

Mdl.Interactions

ans = 10×2

     1     5
     7     8
     6     7
     5     6
     5     7
     5     8
     3     5
     4     7
     1     7
     4     5

Каждая строка Interactions представляет один член взаимодействия и содержит индексы столбцов переменных предиктора для члена взаимодействия.

Найдите наиболее частый предиктор в терминах взаимодействия.

mode(Mdl.Interactions,'all')

ans = 5

Наиболее частым предиктором в терминах взаимодействия является 5-й предиктор (x5). Создайте PDP для 5-го предиктора. Чтобы исключить термины взаимодействия из вычисления, укажите 'IncludeInteractions',false для второго PDP.

plotPartialDependence(Mdl,5,Mdl.ClassNames(1))
hold on
plotPartialDependence(Mdl,5,Mdl.ClassNames(1),'IncludeInteractions',false)
grid on
legend('Linear and interaction terms','Linear terms only')
title('PDPs of Posterior Probabilities for 5th Predictor')
hold off

Сюжет показывает, что частичная зависимость баллов (задние вероятности) от x5 варьируется в зависимости от того, включает ли модель термины взаимодействия, особенно где x5 составляет от 0,2 до 0,45.

Обучение регрессионной модели машины опорных векторов (SVM) с использованием carsmall и создайте PDP для двух переменных предиктора. Затем извлекают оценки частичной зависимости из выходных данных plotPartialDependence. Кроме того, можно получить значения частичной зависимости с помощью partialDependence функция.

Загрузить carsmall набор данных.

load carsmall

Определить Weight, Cylinders, Displacement, и Horsepower в качестве переменных предиктора (Tbl).

Tbl = table(Weight,Cylinders,Displacement,Horsepower);

Построение регрессионной модели SVM с использованием Tbl и переменная ответа MPG. Используйте функцию ядра Гаусса с автоматическим масштабом ядра.

Mdl = fitrsvm(Tbl,MPG,'ResponseName','MPG', ...
    'CategoricalPredictors','Cylinders','Standardize',true, ...
    'KernelFunction','gaussian','KernelScale','auto');

Создайте PDP, который визуализирует частичную зависимость прогнозируемых ответов (MPG) на переменных предиктора Weight и Cylinders. Укажите точки запроса для вычисления частичной зависимости для Weight с помощью 'QueryPoints' аргумент пары имя-значение. Вы не можете указать 'QueryPoints' значение для Cylinders потому что это категориальная переменная. plotPartialDependence использует все категориальные значения.

pt = linspace(min(Weight),max(Weight),50)';
ax = plotPartialDependence(Mdl,{'Weight','Cylinders'},'QueryPoints',{pt,[]});
view(140,30) % Modify the viewing angle

PDP показывает эффект взаимодействия между Weight и Cylinders. Частичная зависимость MPG на Weight изменения в зависимости от значения Cylinders.

Извлечь предполагаемую частичную зависимость MPG на Weight и Cylinders. XData, YData, и ZData значения ax.Children являются значениями оси X (первыми выбранными значениями предиктора), значениями оси Y (вторыми выбранными значениями предиктора) и значениями оси Z (соответствующими значениями частичной зависимости) соответственно.

xval = ax.Children.XData;
yval = ax.Children.YData;
zval = ax.Children.ZData;

Кроме того, можно получить значения частичной зависимости с помощью partialDependence функция.

[pd,x,y] = partialDependence(Mdl,{'Weight','Cylinders'},'QueryPoints',{pt,[]});

pd содержит значения частичной зависимости для точек запроса x и y.

При указании 'Conditional' как 'absolute', plotPartialDependence создает фигуру, включающую PDP, график рассеяния и набор графиков ICE. ax.Children(1) и ax.Children(2) соответствуют PDP и графику рассеяния соответственно. Остальные элементы ax.Children соответствуют графикам ДВС. XData и YData значения ax.Children(i) являются значениями оси X (выбранными значениями предиктора) и значениями оси Y (соответствующими значениями частичной зависимости) соответственно.