refit

Класс: FeatureSelectionNCAClassification

Преобразуйте модель анализа соседних компонентов (NCA) для классификации

развернуть все на странице

Синтаксис

mdlrefit = refit(mdl,Name,Value)

Описание

mdlrefit = refit(mdl,Name,Value) обновляет модель mdl, с измененными параметрами, заданными одним или несколькими Name,Value аргументы в виде пар.

Входные параметры

расширить все

Модель анализа компонентов окрестностей или классификация, заданная как FeatureSelectionNCAClassification объект.

Аргументы в виде пар имя-значение

Задайте необязательные разделенные разделенными запятой парами Name,Value аргументы. Name - имя аргумента и Value - соответствующее значение. Name должны находиться внутри кавычек. Можно задать несколько аргументов в виде пар имен и значений в любом порядке Name1,Value1,...,NameN,ValueN.

Опции подбора кривой

расширить все

Метод для подбора кривой модели, заданный как разделенная запятыми пара, состоящая из 'FitMethod' и одно из следующих.

  • 'exact' - Выполняет подбор кривой, используя все данные.

  • 'none' - Никакого подбора кривой. Используйте эту опцию, чтобы вычислить ошибку обобщения модели NCA с помощью начальных весов функций, предоставленных в вызове fscnca.

  • 'average' - Функция разделяет данные на разделы (подмножества), подходит для каждого раздела с помощью exact метод и возвращает среднее значение весов функций. Вы можете задать количество разделов, используя NumPartitions аргумент пары "имя-значение".

Пример: 'FitMethod','none'

Параметр регуляризации, заданный как разделенная разделенными запятой парами, состоящая из 'Lambda' и неотрицательное скалярное значение.

Для n наблюдений лучшая Lambda значение, которое минимизирует ошибку обобщения модели NCA, как ожидается, будет кратным 1/ n

Пример: 'Lambda',0.01

Типы данных: double | single

Тип решателя для оценки весов функций, заданный как разделенная разделенными запятой парами, состоящая из 'Solver' и одно из следующих.

  • 'lbfgs' - Алгоритм BFGS с ограниченной памятью (алгоритм Broyden-Fletcher-Goldfarb-Shanno) (алгоритм LBFGS)

  • 'sgd' - Стохастический градиентный спуск

  • 'minibatch-lbfgs' - Стохастический градиентный спуск с алгоритмом LBFGS, применяемым к мини-пакетам

Пример: 'solver','minibatch-lbfgs'

Начальные веса функций, заданные как разделенная разделенными запятой парами, состоящая из 'InitialFeatureWeights' и вектор p -by-1 действительных положительных скалярных значений.

Типы данных: double | single

Индикатор уровня подробностей для итогового отображения сходимости, заданный как разделенная разделенными запятой парами, состоящая из 'Verbose' и одно из следующих.

  • 0 - Нет сводных данных сходимости

  • 1 - сводные данные сходимости, включающая число итерации, норму градиента и значение целевой функции.

  • > 1 - Больше информации о сходимости в зависимости от алгоритма аппроксимации

    При использовании 'minibatch-lbfgs' решателя и уровень подробностей > 1, информация о сходимости включает в себя журнал итерации от промежуточных подгонок LBFGS для минибатов.

Пример: 'Verbose',2

Типы данных: double | single

Опции LBFGS или мини-пакета LBFGS

расширить все

Относительный допуск сходимости по норме градиента для lbfgs решателя, заданная как разделенная разделенными запятой парами, состоящая из 'GradientTolerance' и положительное действительное скалярное значение.

Пример: 'GradientTolerance',0.00001

Типы данных: double | single

Опции SGD или мини-пакета LBFGS

расширить все

Начальная скорость обучения для sgd решателя, заданная как разделенная разделенными запятой парами, состоящая из 'InitialLearningRate' и положительная скалярная величина значение.

При использовании типа решателя 'sgd', скорость обучения затухает над итерациями, начиная со значения, заданного для 'InitialLearningRate'.

Пример: 'InitialLearningRate',0.8

Типы данных: double | single

Максимальное количество проходов для решателя 'sgd' (стохастический градиентный спуск), заданный как разделенная разделенными запятой парами, состоящая из 'PassLimit' и положительное целое число. Каждый проходной процесс size(mdl.X,1) наблюдения.

Пример: 'PassLimit',10

Типы данных: double | single

Опции SGD или LBFGS или мини-пакета LBFGS

расширить все

Максимальное количество итераций, заданное как разделенная разделенными запятой парами, состоящая из 'IterationLimit' и положительное целое число.

Пример: 'IterationLimit',250

Типы данных: double | single

Выходные аргументы

расширить все

Модель анализа компонентов окрестностей для классификации, возвращенная как FeatureSelectionNCAClassification объект. Можно либо сохранить результаты как новую модель, либо обновить существующую модель как mdl = refit(mdl,Name,Value).

Примеры

расширить все

Открыть скрипт

Сгенерируйте шахматные данные с помощью generateCheckerBoardData.m функция.

rng(2016,'twister'); % For reproducibility
pps = 1375;
[X,y] = generateCheckerBoardData(pps);
X = X + 2;

Постройте график данных.

figure
plot(X(y==1,1),X(y==1,2),'rx')
hold on
plot(X(y==-1,1),X(y==-1,2),'bx')

[n,p] = size(X)

n =

       22000


p =

     2

Добавьте нерелевантные предикторы к данным.

Q = 98;
Xrnd = unifrnd(0,4,n,Q);
Xobs = [X,Xrnd];

Эта часть кода создает 98 дополнительных предикторов, все равномерно распределенных между 0 и 4.

Разделите данные на обучающие и тестовые наборы. Чтобы создать стратифицированные разделы, чтобы каждый раздел имел одинаковую долю классов, используйте y вместо length(y) как критерий разбиения.

cvp = cvpartition(y,'holdout',2000);

cvpartition случайным образом выбирает 2000 наблюдений для добавления к тестовому набору и остальную часть данных для добавления к набору обучающих данных. Создайте наборы обучения и валидации с помощью назначений, хранящихся в cvpartition cvp объекта .

Xtrain = Xobs(cvp.training(1),:);
ytrain = y(cvp.training(1),:);

Xval = Xobs(cvp.test(1),:);
yval = y(cvp.test(1),:);

Вычислите ошибку классификации без выбора признаков.

nca = fscnca(Xtrain,ytrain,'FitMethod','none','Standardize',true, ...
    'Solver','lbfgs');
loss_nofs = loss(nca,Xval,yval)

loss_nofs =

    0.5165

'FitMethod','none' опция использует веса по умолчанию (все 1s), что означает, что все функции одинаково важны.

На этот раз выполните выбор признаков, используя анализ компонентов окрестностей для классификации, с.$\lambda = 1/n$

w0 = rand(100,1);
n = length(ytrain)
lambda = 1/n;
nca = refit(nca,'InitialFeatureWeights',w0,'FitMethod','exact', ...
       'Lambda',lambda,'solver','sgd');

n =

       20000

Постройте график значения целевой функции от числа итерации.

figure()
plot(nca.FitInfo.Iteration,nca.FitInfo.Objective,'ro')
hold on
plot(nca.FitInfo.Iteration,movmean(nca.FitInfo.Objective,10),'k.-')
xlabel('Iteration number')
ylabel('Objective value')

Вычислите ошибку классификации с выбором признаков.

loss_withfs = loss(nca,Xval,yval)

loss_withfs =

    0.0115

Постройте график выбранных функций.

figure
semilogx(nca.FeatureWeights,'ro')
xlabel('Feature index')
ylabel('Feature weight')
grid on

Выберите функции, используя веса функций и относительный порог.

tol = 0.15;
selidx = find(nca.FeatureWeights > tol*max(1,max(nca.FeatureWeights)))

selidx =

     1
     2

Выбор признаков улучшает результаты и fscnca определяет правильные две функции.

См. также

| | |

Введенный в R2016b

Statistics and Machine Learning Toolbox документация

Поддержка

Для просмотра документации необходимо авторизоваться на сайте