loss

Класс: FeatureSelectionNCAClassification

Оцените точность выученных весов функций на тестовых данных

Синтаксис

err = loss(mdl,X,Y) err = loss(mdl,X,Y,Name,Value)

Описание

err = loss(mdl,X,Y) вычисляет ошибку неправильной классификации модели mdl, для предикторов в X и метки классов в Y.

err = loss(mdl,X,Y,Name,Value) вычисляет ошибку классификации с дополнительными опциями, заданными одним или несколькими Name,Value аргументы в виде пар.

Входные параметры

расширить все

`mdl` - Модель анализа компонентов окрестностей для классификации
`FeatureSelectionNCAClassification` объект

Модель анализа компонентов окрестностей для классификации, возвращенная как FeatureSelectionNCAClassification объект.

`X` - Значения переменных предиктора
n -by - p матрица

Значения переменных предиктора, заданные как n -by - p матрица, где n - количество наблюдений, а p - количество переменных предиктора.

Типы данных: single | double

`Y` - Метки классов
категорический вектор | логический вектор | числовой вектор | строковые массивы | массив ячеек векторов символов длины n | матрица символа с n строками

Метки класса, заданные как категориальный вектор, логический вектор, числовой вектор, строковые массивы, массив ячеек из векторов символов n длины или символьная матрица с n строками, где n - количество наблюдений. i элемента или i строк Y - метка класса, соответствующая i строк X (наблюдение i).

Аргументы в виде пар имя-значение

Задайте необязательные разделенные разделенными запятой парами Name,Value аргументы. Name - имя аргумента и Value - соответствующее значение. Name должны находиться внутри кавычек. Можно задать несколько аргументов в виде пар имен и значений в любом порядке Name1,Value1,...,NameN,ValueN.

`'LossFunction'` - Тип функции потерь
`'classiferror'` (по умолчанию) | `'quadratic'`

Тип функции потерь, заданный как разделенная разделенными запятой парами, состоящая из 'Loss Function' и одно из следующих.

'classiferror' - Коэффициент неправильной классификации в десятичном числе, определяемый как

$\frac{1}{n} \sum_{i = 1}^{n} I (k_{i} \neq t_{i}),$
где $k_{i}$ является предсказанным классом и $t_{i}$ является истинным классом для i наблюдений. $I (k_{i} \neq t_{i})$ - индикатор, для которого $k_{i}$ не то же самое, что и $t_{i}$ .
'quadratic' - Квадратичная функция потерь, заданная как

$\frac{1}{n} \sum_{i = 1}^{n} \sum_{k = 1}^{c} {(p_{i k} - I (i, k))}^{2},$
где c - количество классов, $p_{i k}$ является оценочной вероятностью того, что i-е наблюдение принадлежит классу k, и $I (i, k)$ - индикатор того, что i-е наблюдение принадлежит к k классов.

Пример: 'LossFunction','quadratic'

Выходные аргументы

расширить все

`err` - Меньшая - лучшая мера точности для выученных весов функций
скалярное значение

Меньшая - лучшая мера точности для выученных весов функций, возвращенная в виде скалярного значения. Меру точности можно задать с помощью LossFunction аргумент пары "имя-значение".

Примеры

расширить все

Настройка модели NCA для классификации

Открыть скрипт

Загрузите выборочные данные.

load('twodimclassdata.mat');

Этот набор данных моделируется с помощью схемы, описанной в [1]. Это двухклассовая задача классификации в двух размерностях. Данные из первого класса (класс -1) берутся из двух двухмерных нормальных распределений $N(\mu_1,\Sigma)$ или $N(\mu_2,\Sigma)$ с равной вероятностью, где,, $\mu_1 = [-0.75,-1.5]$ $\mu_2 = [0.75,1.5]$ и. $\Sigma = I_2$ Точно так же данные из второго класса (класс 1) берутся из двух двухмерных нормальных распределений или $N(\mu_3,\Sigma)$ с $N(\mu_4,\Sigma)$ равной вероятностью, где,, и. $\mu_3 = [1.5,-1.5]$ $\mu_4 = [-1.5,1.5]$ $\Sigma = I_2$ Нормальные параметры распределения, используемые для создания этого набора данных, приводят к более плотным кластерам в данных, чем данные, используемые в [1].

Создайте график поля точек данных, сгруппированных по классам.

figure
gscatter(X(:,1),X(:,2),y)
xlabel('x1')
ylabel('x2')

Добавить 100 нерелевантных функций в. $X$ Сначала сгенерируйте данные из Нормального распределения со средним значением 0 и отклонением 20.

n = size(X,1);
rng('default')
XwithBadFeatures = [X,randn(n,100)*sqrt(20)];

Нормализуйте данные так, чтобы все точки находились между 0 и 1.

XwithBadFeatures = bsxfun(@rdivide,...
    bsxfun(@minus,XwithBadFeatures,min(XwithBadFeatures,[],1)), ...
    range(XwithBadFeatures,1));
X = XwithBadFeatures;

Подбор модели анализа компонентов по соседству (NCA) к данным с помощью Lambda по умолчанию (параметр регуляризации,) $\lambda$ значение. Используйте решатель LBFGS и отобразите информацию о сходимости.

ncaMdl = fscnca(X,y,'FitMethod','exact','Verbose',1, ...
              'Solver','lbfgs');

 o Solver = LBFGS, HessianHistorySize = 15, LineSearchMethod = weakwolfe

|====================================================================================================|
|   ITER   |   FUN VALUE   |  NORM GRAD  |  NORM STEP  |  CURV  |    GAMMA    |    ALPHA    | ACCEPT |
|====================================================================================================|
|        0 |  9.519258e-03 |   1.494e-02 |   0.000e+00 |        |   4.015e+01 |   0.000e+00 |   YES  |
|        1 | -3.093574e-01 |   7.186e-03 |   4.018e+00 |    OK  |   8.956e+01 |   1.000e+00 |   YES  |
|        2 | -4.809455e-01 |   4.444e-03 |   7.123e+00 |    OK  |   9.943e+01 |   1.000e+00 |   YES  |
|        3 | -4.938877e-01 |   3.544e-03 |   1.464e+00 |    OK  |   9.366e+01 |   1.000e+00 |   YES  |
|        4 | -4.964759e-01 |   2.901e-03 |   6.084e-01 |    OK  |   1.554e+02 |   1.000e+00 |   YES  |
|        5 | -4.972077e-01 |   1.323e-03 |   6.129e-01 |    OK  |   1.195e+02 |   5.000e-01 |   YES  |
|        6 | -4.974743e-01 |   1.569e-04 |   2.155e-01 |    OK  |   1.003e+02 |   1.000e+00 |   YES  |
|        7 | -4.974868e-01 |   3.844e-05 |   4.161e-02 |    OK  |   9.835e+01 |   1.000e+00 |   YES  |
|        8 | -4.974874e-01 |   1.417e-05 |   1.073e-02 |    OK  |   1.043e+02 |   1.000e+00 |   YES  |
|        9 | -4.974874e-01 |   4.893e-06 |   1.781e-03 |    OK  |   1.530e+02 |   1.000e+00 |   YES  |
|       10 | -4.974874e-01 |   9.404e-08 |   8.947e-04 |    OK  |   1.670e+02 |   1.000e+00 |   YES  |

         Infinity norm of the final gradient = 9.404e-08
              Two norm of the final step     = 8.947e-04, TolX   = 1.000e-06
Relative infinity norm of the final gradient = 9.404e-08, TolFun = 1.000e-06
EXIT: Local minimum found.

Постройте график весов функций. Веса нерелевантных функций должны быть очень близки к нулю.

figure
semilogx(ncaMdl.FeatureWeights,'ro')
xlabel('Feature index')
ylabel('Feature weight')
grid on

Спрогнозируйте классы с помощью модели NCA и вычислите матрицу неточностей.

ypred = predict(ncaMdl,X);
confusionchart(y,ypred)

Матрица неточностей показывает, что 40 данных, которые находятся в классе -1, предсказаны как принадлежащие классу -1. 60 данных из класса -1 предсказаны как относящиеся к классу 1. Точно так же 94 из данных из класса 1 предсказаны как из класса 1, а 6 из них предсказаны как из класса -1. Точность предсказания для класса -1 не хороша.

Все веса очень близки к нулю, что указывает на то, что значение $\lambda$ , используемое при обучении модели, слишком велико. Когда, $\lambda \to \infty$ все веса функций приближаются к нулю. Следовательно, важно настроить параметр регуляризации в большинстве случаев, чтобы обнаружить соответствующие функции.

Используйте пятикратную перекрестную валидацию, чтобы настроить $\lambda$ выбор признаков при помощи fscnca. Настройка $\lambda$ означает нахождение $\lambda$ значения, которое приведет к минимальным классификационным потерям. Чтобы настроить $\lambda$ с помощью перекрестной проверки:

1. Разделите данные на пять складок. Для каждой складки cvpartition Присвоения четыре пятых данных как набор обучающих данных, а одну пятую - как тестовый набор. Снова для каждой складки, cvpartition создает стратифицированный раздел, где каждый раздел имеет примерно одинаковую долю классов.

cvp = cvpartition(y,'kfold',5);
numtestsets = cvp.NumTestSets;
lambdavalues = linspace(0,2,20)/length(y);
lossvalues = zeros(length(lambdavalues),numtestsets);

2. Обучите модель анализа соседних компонентов (nca) для каждого $\lambda$ значения с помощью набора обучающих данных в каждой складке.

3. Вычислите классификационные потери для соответствующего тестового набора в складке с помощью модели nca. Запишите значение потерь.

4. Повторите этот процесс для всех складок и всех $\lambda$ значений.

for i = 1:length(lambdavalues)
    for k = 1:numtestsets

        % Extract the training set from the partition object
        Xtrain = X(cvp.training(k),:);
        ytrain = y(cvp.training(k),:);

        % Extract the test set from the partition object
        Xtest  = X(cvp.test(k),:);
        ytest  = y(cvp.test(k),:);

        % Train an NCA model for classification using the training set
        ncaMdl = fscnca(Xtrain,ytrain,'FitMethod','exact', ...
            'Solver','lbfgs','Lambda',lambdavalues(i));

        % Compute the classification loss for the test set using the NCA
        % model
        lossvalues(i,k) = loss(ncaMdl,Xtest,ytest, ...
            'LossFunction','quadratic');

    end
end

Постройте график средних значений потерь складок от $\lambda$ значений. Если $\lambda$ значение, соответствующее минимальным потерям, падает на контур тестируемых $\lambda$ значений, область значений $\lambda$ значений должен быть пересмотрен.

figure
plot(lambdavalues,mean(lossvalues,2),'ro-')
xlabel('Lambda values')
ylabel('Loss values')
grid on

Найдите $\lambda$ значение, которое соответствует минимальной средней потере.

[~,idx] = min(mean(lossvalues,2)); % Find the index
bestlambda = lambdavalues(idx) % Find the best lambda value

bestlambda =

    0.0037

Подгонка модели NCA ко всем данным с помощью наилучшего $\lambda$ значения. Используйте решатель LBFGS и отобразите информацию о сходимости.

ncaMdl = fscnca(X,y,'FitMethod','exact','Verbose',1, ...
        'Solver','lbfgs','Lambda',bestlambda);

 o Solver = LBFGS, HessianHistorySize = 15, LineSearchMethod = weakwolfe

|====================================================================================================|
|   ITER   |   FUN VALUE   |  NORM GRAD  |  NORM STEP  |  CURV  |    GAMMA    |    ALPHA    | ACCEPT |
|====================================================================================================|
|        0 | -1.246913e-01 |   1.231e-02 |   0.000e+00 |        |   4.873e+01 |   0.000e+00 |   YES  |
|        1 | -3.411330e-01 |   5.717e-03 |   3.618e+00 |    OK  |   1.068e+02 |   1.000e+00 |   YES  |
|        2 | -5.226111e-01 |   3.763e-02 |   8.252e+00 |    OK  |   7.825e+01 |   1.000e+00 |   YES  |
|        3 | -5.817731e-01 |   8.496e-03 |   2.340e+00 |    OK  |   5.591e+01 |   5.000e-01 |   YES  |
|        4 | -6.132632e-01 |   6.863e-03 |   2.526e+00 |    OK  |   8.228e+01 |   1.000e+00 |   YES  |
|        5 | -6.135264e-01 |   9.373e-03 |   7.341e-01 |    OK  |   3.244e+01 |   1.000e+00 |   YES  |
|        6 | -6.147894e-01 |   1.182e-03 |   2.933e-01 |    OK  |   2.447e+01 |   1.000e+00 |   YES  |
|        7 | -6.148714e-01 |   6.392e-04 |   6.688e-02 |    OK  |   3.195e+01 |   1.000e+00 |   YES  |
|        8 | -6.149524e-01 |   6.521e-04 |   9.934e-02 |    OK  |   1.236e+02 |   1.000e+00 |   YES  |
|        9 | -6.149972e-01 |   1.154e-04 |   1.191e-01 |    OK  |   1.171e+02 |   1.000e+00 |   YES  |
|       10 | -6.149990e-01 |   2.922e-05 |   1.983e-02 |    OK  |   7.365e+01 |   1.000e+00 |   YES  |
|       11 | -6.149993e-01 |   1.556e-05 |   8.354e-03 |    OK  |   1.288e+02 |   1.000e+00 |   YES  |
|       12 | -6.149994e-01 |   1.147e-05 |   7.256e-03 |    OK  |   2.332e+02 |   1.000e+00 |   YES  |
|       13 | -6.149995e-01 |   1.040e-05 |   6.781e-03 |    OK  |   2.287e+02 |   1.000e+00 |   YES  |
|       14 | -6.149996e-01 |   9.015e-06 |   6.265e-03 |    OK  |   9.974e+01 |   1.000e+00 |   YES  |
|       15 | -6.149996e-01 |   7.763e-06 |   5.206e-03 |    OK  |   2.919e+02 |   1.000e+00 |   YES  |
|       16 | -6.149997e-01 |   8.374e-06 |   1.679e-02 |    OK  |   6.878e+02 |   1.000e+00 |   YES  |
|       17 | -6.149997e-01 |   9.387e-06 |   9.542e-03 |    OK  |   1.284e+02 |   5.000e-01 |   YES  |
|       18 | -6.149997e-01 |   3.250e-06 |   5.114e-03 |    OK  |   1.225e+02 |   1.000e+00 |   YES  |
|       19 | -6.149997e-01 |   1.574e-06 |   1.275e-03 |    OK  |   1.808e+02 |   1.000e+00 |   YES  |

|====================================================================================================|
|   ITER   |   FUN VALUE   |  NORM GRAD  |  NORM STEP  |  CURV  |    GAMMA    |    ALPHA    | ACCEPT |
|====================================================================================================|
|       20 | -6.149997e-01 |   5.764e-07 |   6.765e-04 |    OK  |   2.905e+02 |   1.000e+00 |   YES  |

         Infinity norm of the final gradient = 5.764e-07
              Two norm of the final step     = 6.765e-04, TolX   = 1.000e-06
Relative infinity norm of the final gradient = 5.764e-07, TolFun = 1.000e-06
EXIT: Local minimum found.

Постройте график весов функций.

figure
semilogx(ncaMdl.FeatureWeights,'ro')
xlabel('Feature index')
ylabel('Feature weight')
grid on

fscnca правильно выясняет, что первые две функции актуальны и что остальные не являются. Первые две функции не индивидуально информативны, но в совокупности приводят к точной классификационной модели.

Спрогнозируйте классы с помощью новой модели и вычислите точность.

ypred = predict(ncaMdl,X);
confusionchart(y,ypred)

Матрица неточностей показывает, что точность предсказания для класса -1 улучшилась. 88 данных из класса -1 прогнозируют от -1, а 12 из них прогнозируют от класса 1. 92 из данных из класса 1 предсказаны как из класса 1, а 8 из них предсказаны как из класса -1.

Ссылки

[1] Yang, W., K. Wang, W. Zuo. «Компонент соседства Выбора признаков для высоко-размерных Данных». Журнал компьютеров. Том 7, № 1, январь 2012 года.

См. также

FeatureSelectionNCAClassification | fscnca | predict | refit

Введенный в R2016b

Документация

loss

Синтаксис

Описание

Входные параметры

`mdl` - Модель анализа компонентов окрестностей для классификации
`FeatureSelectionNCAClassification` объект

`X` - Значения переменных предиктора
n -by - p матрица

Аргументы в виде пар имя-значение

`'LossFunction'` - Тип функции потерь
`'classiferror'` (по умолчанию) | `'quadratic'`

Выходные аргументы

`err` - Меньшая - лучшая мера точности для выученных весов функций
скалярное значение

Примеры

Настройка модели NCA для классификации

См. также

Statistics and Machine Learning Toolbox документация

Поддержка

Документация

loss

Синтаксис

Описание

Входные параметры

mdl - Модель анализа компонентов окрестностей для классификации FeatureSelectionNCAClassification объект

X - Значения переменных предиктора n -by - p матрица

Аргументы в виде пар имя-значение

'LossFunction' - Тип функции потерь 'classiferror' (по умолчанию) | 'quadratic'

Выходные аргументы

err - Меньшая - лучшая мера точности для выученных весов функций скалярное значение

Примеры

Настройка модели NCA для классификации

См. также

Statistics and Machine Learning Toolbox документация

Поддержка

`mdl` - Модель анализа компонентов окрестностей для классификации
`FeatureSelectionNCAClassification` объект

`X` - Значения переменных предиктора
n -by - p матрица

`'LossFunction'` - Тип функции потерь
`'classiferror'` (по умолчанию) | `'quadratic'`

`err` - Меньшая - лучшая мера точности для выученных весов функций
скалярное значение