Вычислите среднюю квадратичную невязку регрессионой модели с помощью 10-кратной перекрестной валидации.

Загрузите carsmall набор данных. Поместите значения ускорения, лошадиной силы, веса и миль на галлон (MPG) в матрицу data. Удалите все строки, содержащие NaN значения.

load carsmall
data = [Acceleration Horsepower Weight MPG];
data(any(isnan(data),2),:) = [];

Задайте последний столбец data, что соответствует MPG, как переменная отклика y. Задайте другие столбцы data как данные предиктора X. Добавьте столбец таковых к X когда ваша регрессионная функция использует regress, как в этом примере.

Примечание: regress полезно, когда вам просто нужны оценки коэффициентов или невязки регрессионой модели. Если вам нужно исследовать подобранную регрессионую модель дальше, создайте объект линейной регрессионой модели при помощи fitlm. Для примера, который использует fitlm и crossval, см. Вычисление средней абсолютной ошибки с использованием перекрестной валидации.

y = data(:,4);
X = [ones(length(y),1) data(:,1:3)];

Создайте пользовательскую функцию regf (показан в конце этого примера). Эта функция подходит для регрессионной модели к обучающим данным, а затем вычисляет предсказанные значения на тестовом наборе.

Примечание: Если вы используете файл live скрипта для этого примера, regf функция уже включена в конец файла. В противном случае вам нужно создать эту функцию в конце файла .m или добавить ее в качестве файла по пути MATLAB ®.

Вычислите 10-кратную среднюю квадратичную невязку перекрестной валидации по умолчанию для регрессионой модели с данными предиктора X и переменная отклика y.

rng('default') % For reproducibility
cvMSE = crossval('mse',X,y,'Predfun',@regf)

cvMSE = 17.5399

Этот код создает функцию regf.

function yfit = regf(Xtrain,ytrain,Xtest)
b = regress(ytrain,Xtrain);
yfit = Xtest*b;
end

Вычислите ошибку неправильной классификации модели логистической регрессии, обученной на числовых и категориальных данных предиктора, с помощью 10-кратной перекрестной валидации.

Загрузите patients набор данных. Задайте числовые переменные Diastolic и Systolic и категориальную переменную Gender в качестве предикторов и задайте Smoker как переменная отклика.

load patients
X1 = Diastolic;
X2 = categorical(Gender);
X3 = Systolic;
y = Smoker;

Создайте пользовательскую функцию classf (показан в конце этого примера). Эта функция подходит к логистической регрессионой модели для обучающих данных, а затем классифицирует тестовые данные.

Примечание: Если вы используете файл live скрипта для этого примера, classf функция уже включена в конец файла. В противном случае вам нужно создать эту функцию в конце файла .m или добавить ее в качестве файла по пути MATLAB ®.

Вычислите 10-кратную ошибку неправильной классификации перекрестной валидации для модели с данными предиктора X1, X2, и X3 и переменная отклика y. Задайте 'Stratify',y обеспечить, чтобы наборы для обучения и тестирования имели примерно одинаковую долю курильщиков.

rng('default') % For reproducibility
err = crossval('mcr',X1,X2,X3,y,'Predfun',@classf,'Stratify',y)

err = 0.1100

Этот код создает функцию classf.

function pred = classf(X1train,X2train,X3train,ytrain,X1test,X2test,X3test)
Xtrain = table(X1train,X2train,X3train,ytrain, ...
    'VariableNames',{'Diastolic','Gender','Systolic','Smoker'});
Xtest = table(X1test,X2test,X3test, ...
    'VariableNames',{'Diastolic','Gender','Systolic'});
modelspec = 'Smoker ~ Diastolic + Gender + Systolic';
mdl = fitglm(Xtrain,modelspec,'Distribution','binomial');
yfit = predict(mdl,Xtest);
pred = (yfit > 0.5);
end

Для заданного количества кластеров вычислите перекрестно проверенную сумму квадратов расстояний между наблюдениями и их ближайшим центром кластера. Сравните результаты для одного-десяти кластеров.

Загрузите fisheriris набор данных. X является матрицей meas, который содержит измерения цветов для 150 различных цветов.

load fisheriris
X = meas;

Создайте пользовательскую функцию clustf (показан в конце этого примера). Эта функция выполняет следующие шаги:

Примечание: Если вы используете файл live скрипта для этого примера, clustf функция уже включена в конец файла. В противном случае необходимо создать функцию в конце файла .m или добавить ее в качестве файла по пути MATLAB ®.

Создайте for цикл, который задает количество кластеров k для каждой итерации. Для каждого фиксированного количества кластеров передайте соответствующую clustf функции в crossval. Потому что crossval выполняет 10-кратную перекрестную валидацию по умолчанию, программа вычисляет 10 сумм квадратов расстояния, по одному для каждого раздела обучающих и тестовых данных. Взять сумму этих значений; результатом является перекрестная проверенная сумма квадратов расстояний для заданного количества кластеров.

rng('default') % For reproducibility
cvdist = zeros(5,1);
for k = 1:10
    fun = @(Xtrain,Xtest)clustf(Xtrain,Xtest,k);
    distances = crossval(fun,X);
    cvdist(k) = sum(distances);
end

Постройте график перекрестной проверенной суммы квадратов расстояний для каждого количества кластеров.

plot(cvdist)
xlabel('Number of Clusters')
ylabel('CV Sum of Squared Distances')

В целом, при определении, сколько кластеров использовать, учитывайте наибольшее количество кластеров, которое соответствует значительному уменьшению перекрестно проверенной суммы квадратов расстояний. В данном примере использование двух или трех кластеров кажется подходящим, а использование более трех кластеров - нет.

Этот код создает функцию clustf.

function distances = clustf(Xtrain,Xtest,k)
[Ztrain,Zmean,Zstd] = zscore(Xtrain);
[~,C] = kmeans(Ztrain,k); % Creates k clusters
Ztest = (Xtest-Zmean)./Zstd;
d = pdist2(C,Ztest,'euclidean','Smallest',1);
distances = sum(d.^2);
end

Вычислите среднюю абсолютную ошибку регрессионой модели с помощью 10-кратной перекрестной валидации.

Загрузите carsmall набор данных. Задайте Acceleration и Displacement переменные как предикторы и Weight переменная в качестве отклика.

load carsmall
X1 = Acceleration;
X2 = Displacement;
y = Weight;

Создайте пользовательскую функцию regf (показан в конце этого примера). Эта функция подходит для регрессионной модели к обучающим данным, а затем вычисляет предсказанные веса автомобилей на тестовом наборе. Функция сравнивает предсказанные значения веса автомобиля с истинными значениями, а затем вычисляет среднюю абсолютную ошибку (MAE) и MAE, скорректированную с областью значений веса тестового набора автомобилей.

Примечание: Если вы используете файл live скрипта для этого примера, regf функция уже включена в конец файла. В противном случае вам нужно создать эту функцию в конце файла .m или добавить ее в качестве файла по пути MATLAB ®.

По умолчанию crossval выполняет 10-кратную перекрестную проверку. Для каждого из 10 разделов обучающих и тестовых наборов данных в X1, X2, и y, вычислите MAE и скорректированные значения MAE с помощью regf функция. Найдите среднее значение MAE и среднее скорректированное MAE.

rng('default') % For reproducibility
values = crossval(@regf,X1,X2,y)

values = 10×2

  319.2261    0.1132
  342.3722    0.1240
  214.3735    0.0902
  174.7247    0.1128
  189.4835    0.0832
  249.4359    0.1003
  194.4210    0.0845
  348.7437    0.1700
  283.1761    0.1187
  210.7444    0.1325

mean(values)

ans = 1×2

  252.6701    0.1129

Этот код создает функцию regf.

function errors = regf(X1train,X2train,ytrain,X1test,X2test,ytest)
tbltrain = table(X1train,X2train,ytrain, ...
    'VariableNames',{'Acceleration','Displacement','Weight'});
tbltest = table(X1test,X2test,ytest, ...
    'VariableNames',{'Acceleration','Displacement','Weight'});
mdl = fitlm(tbltrain,'Weight ~ Acceleration + Displacement');
yfit = predict(mdl,tbltest);
MAE = mean(abs(yfit-tbltest.Weight));
adjMAE = MAE/range(tbltest.Weight);
errors = [MAE adjMAE];
end

Вычислите ошибку неправильной классификации дерева классификации с помощью анализа основных компонентов (PCA) и 5-кратной перекрестной валидации.

Загрузите fisheriris набор данных. The meas матрица содержит измерения цветов для 150 различных цветов. The species Переменная приводит список видов для каждого цветка.

load fisheriris

Создайте пользовательскую функцию classf (показан в конце этого примера). Эта функция подходит для дерева классификации к обучающим данным, а затем классифицирует тестовые данные. Используйте PCA внутри функции, чтобы уменьшить количество предикторов, используемых для создания древовидной модели.

Примечание: Если вы используете файл live скрипта для этого примера, classf функция уже включена в конец файла. В противном случае вам нужно создать эту функцию в конце файла .m или добавить ее в качестве файла по пути MATLAB ®.

Создайте cvpartition объект для стратифицированной 5-кратной перекрестной проверки. По умолчанию cvpartition гарантирует, что обучающие и тестовые наборы имеют примерно одинаковые пропорции видов цветов.

rng('default') % For reproducibility
cvp = cvpartition(species,'KFold',5);

Вычислите 5-кратную ошибку неправильной классификации перекрестной валидации для дерева классификации с данными предиктора meas и переменная отклика species.

cvError = crossval('mcr',meas,species,'Predfun',@classf,'Partition',cvp)

cvError = 0.1067

Этот код создает функцию classf.

function yfit = classf(Xtrain,ytrain,Xtest)

% Standardize the training predictor data. Then, find the 
% principal components for the standardized training predictor
% data.
[Ztrain,Zmean,Zstd] = zscore(Xtrain);
[coeff,scoreTrain,~,~,explained,mu] = pca(Ztrain);

% Find the lowest number of principal components that account
% for at least 95% of the variability.
n = find(cumsum(explained)>=95,1);

% Find the n principal component scores for the standardized
% training predictor data. Train a classification tree model
% using only these scores.
scoreTrain95 = scoreTrain(:,1:n);
mdl = fitctree(scoreTrain95,ytrain);

% Find the n principal component scores for the transformed
% test data. Classify the test data.
Ztest = (Xtest-Zmean)./Zstd;
scoreTest95 = (Ztest-mu)*coeff(:,1:n);
yfit = predict(mdl,scoreTest95);

end

Создайте матрицу неточностей из 10-кратных результатов перекрестной валидации дискриминантной модели анализа.

Примечание: Используйте classify когда скорость обучения является проблемой. В противном случае используйте fitcdiscr для создания дискриминантной модели анализа. Для примера, который показывает тот же рабочий процесс, что и этот пример, но использует fitcdiscr, см. «Создание матрицы неточностей с использованием предсказаний перекрестной валидации».

Загрузите fisheriris набор данных. X содержит измерения цветов для 150 различных цветов и y перечисляет виды для каждого цветка. Создайте переменную order который задает порядок вида цветов.

load fisheriris
X = meas;
y = species;
order = unique(y)

order = 3x1 cell
    {'setosa'    }
    {'versicolor'}
    {'virginica' }

Создайте указатель на функцию с именем func для функции, которая выполняет следующие шаги:

func = @(Xtrain,ytrain,Xtest,ytest)confusionmat(ytest, ...
    classify(Xtest,Xtrain,ytrain),'Order',order);

Создайте cvpartition объект для стратифицированной 10-кратной перекрестной проверки. По умолчанию cvpartition гарантирует, что обучающие и тестовые наборы имеют примерно одинаковые пропорции видов цветов.

rng('default') % For reproducibility
cvp = cvpartition(y,'Kfold',10);

Вычислите 10 матриц неточностей набора тестов для каждого раздела данных предиктора X и переменная отклика y. Каждая строка confMat соответствует результатам матрицы неточностей для одного тестового набора. Агрегируйте результаты и создайте окончательную матрицу неточностей cvMat.

confMat = crossval(func,X,y,'Partition',cvp);
cvMat = reshape(sum(confMat),3,3)

cvMat = 3×3

    50     0     0
     0    48     2
     0     1    49

Постройте матрицу неточностей как матричный график неточностей при помощи confusionchart.

confusionchart(cvMat,order)