Используйте перекрестную проверку misclassification ошибка оценить, как модель выполнит на новых данных.

Загрузите ionosphere набор данных. Составьте таблицу, содержащую данные о предикторе X и переменная отклика Y.

load ionosphere
tbl = array2table(X);
tbl.Y = Y;

Используйте случайный нестратифицированный раздел hpartition разделять данные в обучающие данные (tblTrain) и зарезервированный набор данных (tblNew). Зарезервируйте приблизительно 30 процентов данных.

rng('default') % For reproducibility
n = length(tbl.Y);
hpartition = cvpartition(n,'Holdout',0.3); % Nonstratified partition
idxTrain = training(hpartition);
tblTrain = tbl(idxTrain,:);
idxNew = test(hpartition);
tblNew = tbl(idxNew,:);

Обучите модель классификации машин опорных векторов (SVM) использование обучающих данных tblTrain. Вычислите misclassification ошибку и точность классификации на обучающих данных.

Mdl = fitcsvm(tblTrain,'Y');
trainError = resubLoss(Mdl)

trainError = 0.0569

trainAccuracy = 1-trainError

trainAccuracy = 0.9431

Как правило, misclassification ошибка на обучающих данных не является хорошей оценкой того, как модель выполнит на новых данных, потому что это может недооценить misclassification уровень на новых данных. Лучшая оценка является ошибкой перекрестной проверки.

Создайте разделенную модель cvMdl. Вычислите 10-кратную перекрестную проверку misclassification точность классификации и ошибка. По умолчанию, crossval гарантирует, что пропорции класса в каждом сгибе остаются приблизительно то же самое как пропорции класса в переменной отклика tblTrain.Y.

cvMdl = crossval(Mdl); % Performs stratified 10-fold cross-validation
cvtrainError = kfoldLoss(cvMdl)

cvtrainError = 0.1220

cvtrainAccuracy = 1-cvtrainError

cvtrainAccuracy = 0.8780

Заметьте что ошибка перекрестной проверки cvtrainError больше ошибки перезамены trainError.

Классифицируйте новые данные на tblNew использование обученной модели SVM. Сравните точность классификации на новых данных с точностью оценивает trainAccuracy и cvtrainAccuracy.

newError = loss(Mdl,tblNew,'Y');
newAccuracy = 1-newError

newAccuracy = 0.8700

Ошибка перекрестной проверки дает лучшую оценку производительности модели на новых данных, чем ошибка перезамены.

Используйте тот же стратифицированный раздел для 5-кратной перекрестной проверки, чтобы вычислить misclassification уровни двух моделей.

Загрузите fisheriris набор данных. Матричный meas содержит цветочные измерения для 150 различных цветов. Переменная species перечисляет разновидности для каждого цветка.

load fisheriris

Создайте случайный раздел для стратифицированной 5-кратной перекрестной проверки. Наборы обучающих данных и наборы тестов имеют приблизительно те же пропорции цветочных разновидностей как species.

rng('default') % For reproducibility
c = cvpartition(species,'KFold',5);

Создайте разделенную модель дискриминантного анализа и разделенную модель дерева классификации при помощи c.

discrCVModel = fitcdiscr(meas,species,'CVPartition',c);
treeCVModel = fitctree(meas,species,'CVPartition',c);

Вычислите misclassification уровни двух разделенных моделей.

discrRate = kfoldLoss(discrCVModel)

discrRate = 0.0200

treeRate = kfoldLoss(treeCVModel)

treeRate = 0.0333

Модель дискриминантного анализа имеет меньшую перекрестную проверку misclassification уровень.

Наблюдайте набор тестов (сгиб) пропорции класса в 5-кратном нестратифицированном разделе fisheriris данные. Пропорции класса отличаются через сгибы.

Загрузите fisheriris набор данных. species переменная содержит имя разновидностей (класс) для каждого цветка (наблюдение). Преобразуйте species к categorical переменная.

load fisheriris
species = categorical(species);

Найдите количество наблюдений в каждом классе. Заметьте, что эти три класса происходят в равной пропорции.

C = categories(species) % Class names

C = 3x1 cell
    {'setosa'    }
    {'versicolor'}
    {'virginica' }

numClasses = size(C,1);
n = countcats(species) % Number of observations in each class

n = 3×1

    50
    50
    50

Создайте случайный нестратифицированный 5-кратный раздел.

rng('default') % For reproducibility
cv = cvpartition(species,'KFold',5,'Stratify',false) 

cv = 
K-fold cross validation partition
   NumObservations: 150
       NumTestSets: 5
         TrainSize: 120  120  120  120  120
          TestSize: 30  30  30  30  30

Покажите, что эти три класса не происходят в равной пропорции в каждом из этих пяти наборов тестов или сгибах. Используйте цикл for, чтобы обновить nTestData матрица так, чтобы каждая запись nTestData(i,j) соответствует количеству наблюдений в наборе тестов i и класс C(j). Создайте столбчатую диаграмму из данных в nTestData.

numFolds = cv.NumTestSets;
nTestData = zeros(numFolds,numClasses);
for i = 1:numFolds
    testClasses = species(cv.test(i));
    nCounts = countcats(testClasses); % Number of test set observations in each class
    nTestData(i,:) = nCounts';
end

bar(nTestData)
xlabel('Test Set (Fold)')
ylabel('Number of Observations')
title('Nonstratified Partition')
legend(C)

Заметьте, что пропорции класса варьируются по некоторым наборам тестов. Например, первый набор тестов содержит 8 setosa, 13 versicolor, и 9 virginica цветов, а не 10 цветов на разновидности. Поскольку cv случайный нестратифицированный раздел fisheriris данные, пропорции класса в каждом наборе тестов (сгиб), как гарантируют, не будут равны пропорциям класса в species. Таким образом, классы не всегда происходят одинаково в каждом наборе тестов, как они делают в species.

Создайте нестратифицированный раздел затяжки и стратифицированный раздел затяжки для длинного массива. Для двух наборов затяжки сравните количество наблюдений в каждом классе.

Когда вы выполняете вычисления на длинных массивах, MATLAB® использует любого параллельный пул (значение по умолчанию, если у вас есть Parallel Computing Toolbox™), или локальный сеанс работы с MATLAB. Чтобы запустить пример с помощью локального сеанса работы с MATLAB, когда у вас будет Parallel Computing Toolbox, измените глобальную среду выполнения при помощи mapreducer функция.

mapreducer(0)

Создайте числовой вектор из двух классов, где класс 1 и класс 2 происходите в отношении 1:10.

group = [ones(20,1);2*ones(200,1)]

group = 220×1

     1
     1
     1
     1
     1
     1
     1
     1
     1
     1
      ⋮

Создайте длинный массив из group.

tgroup = tall(group)

tgroup =

  220x1 tall double column vector

     1
     1
     1
     1
     1
     1
     1
     1
     :
     :

Holdout единственный cvpartition опция, которая поддерживается для длинных массивов. Создайте случайный нестратифицированный раздел затяжки.

CV0 = cvpartition(tgroup,'Holdout',1/4,'Stratify',false)  

CV0 = 
Hold-out cross validation partition
   NumObservations: [1x1 tall]
       NumTestSets: 1
         TrainSize: [1x1 tall]
          TestSize: [1x1 tall]

Возвратите результат CV0.test к памяти при помощи gather функция.

testIdx0 = gather(CV0.test);

Evaluating tall expression using the Local MATLAB Session:
- Pass 1 of 1: Completed in 0.68 sec
Evaluation completed in 0.92 sec

Найдите число раз, каждый класс происходит в тесте, или затяжке, наборе.

accumarray(group(testIdx0),1) % Number of observations per class in the holdout set

ans = 2×1

     5
    51

cvpartition производит случайность в результатах, таким образом, ваше количество наблюдений в каждом классе может варьироваться от показанных.

Поскольку CV0 нестратифицированный раздел, класс 1 наблюдения и класс 2 наблюдения в наборе затяжки, как гарантируют, не произойдут в том же отношении как в tgroup. Однако из-за свойственной случайности в cvpartition, можно иногда получать набор затяжки, в котором классы происходят в том же отношении как в tgroup, даже при том, что вы задаете 'Stratify',false. Поскольку набор обучающих данных является дополнением набора затяжки, исключая любой NaN или недостающие наблюдения, можно получить подобный результат для набора обучающих данных.

Возвратите результат CV0.training к памяти.

trainIdx0 = gather(CV0.training);

Evaluating tall expression using the Local MATLAB Session:
- Pass 1 of 1: Completed in 0.55 sec
Evaluation completed in 0.71 sec

Найдите число раз, каждый класс происходит в наборе обучающих данных.

accumarray(group(trainIdx0),1) % Number of observations per class in the training set

ans = 2×1

    15
   149

Классы в нестратифицированном наборе обучающих данных, как гарантируют, не произойдут в том же отношении как в tgroup.

Создайте случайный стратифицированный раздел затяжки.

CV1 = cvpartition(tgroup,'Holdout',1/4)  

CV1 = 
Hold-out cross validation partition
   NumObservations: [1x1 tall]
       NumTestSets: 1
         TrainSize: [1x1 tall]
          TestSize: [1x1 tall]

Возвратите результат CV1.test к памяти.

testIdx1 = gather(CV1.test);

Evaluating tall expression using the Local MATLAB Session:
- Pass 1 of 1: Completed in 0.16 sec
Evaluation completed in 0.21 sec

Найдите число раз, каждый класс происходит в тесте, или затяжке, наборе.

accumarray(group(testIdx1),1) % Number of observations per class in the holdout set

ans = 2×1

     5
    51

В случае стратифицированного раздела затяжки, отношения класса в наборе затяжки и отношения класса в tgroup тот же (1:10).

Создайте случайный раздел данных для перекрестной проверки, "пропускают один". Вычислите и сравните средние значения набора обучающих данных. Повторение с существенно отличающимся средним значением предлагает присутствие влиятельного наблюдения.

Создайте набор данных X это содержит одно значение, которое очень больше других.

X = [1 2 3 4 5 6 7 8 9 20]';

Создайте cvpartition объект, который имеет 10 наблюдений и 10 повторений обучения и тестовых данных. Для каждого повторения, cvpartition выбирает одно наблюдение, чтобы удалить из набора обучающих данных и резерва для набора тестов.

c = cvpartition(10,'Leaveout')

c = 
Leave-one-out cross validation partition
   NumObservations: 10
       NumTestSets: 10
         TrainSize: 9  9  9  9  9  9  9  9  9  9
          TestSize: 1  1  1  1  1  1  1  1  1  1

Применяйтесь раздел "пропускают один" к X, и возьмите среднее значение учебных наблюдений для каждого повторения при помощи crossval.

values = crossval(@(Xtrain,Xtest)mean(Xtrain),X,'Partition',c)

values = 10×1

    6.5556
    6.4444
    7.0000
    6.3333
    6.6667
    7.1111
    6.8889
    6.7778
    6.2222
    5.0000

Просмотрите распределение средних значений набора обучающих данных использовать график поля (или диаграмма). График отображает один выброс.

boxchart(values)

Найдите повторение, соответствующее значению выброса. Для того повторения найдите наблюдение в наборе тестов.

[~,repetitionIdx] = min(values)

repetitionIdx = 10

observationIdx = test(c,repetitionIdx);
influentialObservation = X(observationIdx)

influentialObservation = 20

Наборы обучающих данных, которые содержат наблюдение, имеют существенно различные средние значения от среднего значения набора обучающих данных без наблюдения. Это существенное изменение в среднем значении предполагает что значение 20 в X влиятельное наблюдение.