Класс: Элемент Выбор NCAClassification
Модель анализа соседства (NCA) для классификации
mdlrefit = refit(mdl,Name,Value)
mdlrefit = refit(mdl,Name,Value)mdl, с измененными параметрами, заданными одним или несколькими Name,Value аргументы пары.
Создание данных шахматной доски с помощью generateCheckerBoardData.m функция.
rng(2016,'twister'); % For reproducibility pps = 1375; [X,y] = generateCheckerBoardData(pps); X = X + 2;
Постройте график данных.
figure plot(X(y==1,1),X(y==1,2),'rx') hold on plot(X(y==-1,1),X(y==-1,2),'bx') [n,p] = size(X)
n =
22000
p =
2
Добавьте к данным неактуальные предикторы.
Q = 98; Xrnd = unifrnd(0,4,n,Q); Xobs = [X,Xrnd];
Этот фрагмент кода создает 98 дополнительных предикторов, все равномерно распределены между 0 и 4.
Разбейте данные на обучающие и тестовые наборы. Чтобы создать стратифицированные секции, чтобы каждая секция имела одинаковую долю классов, используйте y вместо length(y) в качестве критерия секционирования.
cvp = cvpartition(y,'holdout',2000);
cvpartition случайным образом выбирает 2000 наблюдений для добавления к тестовому набору и остальные данные для добавления к обучающему набору. Создание наборов обучения и проверки с использованием назначений, хранящихся в cvpartition объект cvp .
Xtrain = Xobs(cvp.training(1),:); ytrain = y(cvp.training(1),:); Xval = Xobs(cvp.test(1),:); yval = y(cvp.test(1),:);
Вычислите ошибку неправильной классификации без выбора элемента.
nca = fscnca(Xtrain,ytrain,'FitMethod','none','Standardize',true, ... 'Solver','lbfgs'); loss_nofs = loss(nca,Xval,yval)
loss_nofs =
0.5165
'FitMethod','none' использует веса по умолчанию (все 1), что означает, что все элементы одинаково важны.
На этот раз выполните выбор элемента с помощью анализа компонента окрестности для классификации, с.
w0 = rand(100,1); n = length(ytrain) lambda = 1/n; nca = refit(nca,'InitialFeatureWeights',w0,'FitMethod','exact', ... 'Lambda',lambda,'solver','sgd');
n =
20000
Постройте график зависимости значения целевой функции от номера итерации.
figure() plot(nca.FitInfo.Iteration,nca.FitInfo.Objective,'ro') hold on plot(nca.FitInfo.Iteration,movmean(nca.FitInfo.Objective,10),'k.-') xlabel('Iteration number') ylabel('Objective value')
Вычислите ошибку неправильной классификации с помощью выбора элемента.
loss_withfs = loss(nca,Xval,yval)
loss_withfs =
0.0115
Постройте график выбранных элементов.
figure semilogx(nca.FeatureWeights,'ro') xlabel('Feature index') ylabel('Feature weight') grid on
Выберите элементы, используя веса элементов и относительный порог.
tol = 0.15; selidx = find(nca.FeatureWeights > tol*max(1,max(nca.FeatureWeights)))
selidx =
1
2
Выбор элемента улучшает результаты и fscnca определяет соответствующие две функции.