Класс: FeatureSelectionNCAClassification
Переоборудуйте модель анализа компонента окружения (NCA) для классификации
mdlrefit = refit(mdl,Name,Value)
mdlrefit = refit(mdl,Name,Value)mdl, с измененными параметрами, заданными одним или несколькими аргументами пары Name,Value.
Сгенерируйте данные о шахматной доске с помощью функции generateCheckerBoardData.m.
rng(2016,'twister'); % For reproducibility pps = 1375; [X,y] = generateCheckerBoardData(pps); X = X + 2;
Отобразите данные на графике.
figure plot(X(y==1,1),X(y==1,2),'rx') hold on plot(X(y==-1,1),X(y==-1,2),'bx') [n,p] = size(X)
n =
22000
p =
2
Добавьте несоответствующие предикторы в данные.
Q = 98; Xrnd = unifrnd(0,4,n,Q); Xobs = [X,Xrnd];
Эта часть кода создает 98 дополнительных предикторов, все равномерно распределенные между 0 и 4.
Разделите данные в наборы обучающих данных и наборы тестов. Создать расслоенные разделы, так, чтобы каждый раздел имел подобную пропорцию классов, y использования вместо length(y) как критерии разделения.
cvp = cvpartition(y,'holdout',2000);
cvpartition случайным образом выбирает 2000 наблюдений, чтобы добавить к набору тестов и остальной части данных, чтобы добавить к набору обучающих данных. Создайте наборы обучения и валидации с помощью присвоений, сохраненных в объекте cvpartition cvp.
Xtrain = Xobs(cvp.training(1),:); ytrain = y(cvp.training(1),:); Xval = Xobs(cvp.test(1),:); yval = y(cvp.test(1),:);
Вычислите misclassification ошибку без выбора функции.
nca = fscnca(Xtrain,ytrain,'FitMethod','none','Standardize',true, ... 'Solver','lbfgs'); loss_nofs = loss(nca,Xval,yval)
loss_nofs =
0.5165
Опция 'FitMethod','none' использует веса по умолчанию (вся 1 с), что означает, что все функции одинаково важны.
На этот раз выполните выбор функции с помощью анализа компонента окружения для классификации, с
.
w0 = rand(100,1); n = length(ytrain) lambda = 1/n; nca = refit(nca,'InitialFeatureWeights',w0,'FitMethod','exact', ... 'Lambda',lambda,'solver','sgd');
n =
20000
Постройте значение целевой функции по сравнению с номером итерации.
figure() plot(nca.FitInfo.Iteration,nca.FitInfo.Objective,'ro') hold on plot(nca.FitInfo.Iteration,movmean(nca.FitInfo.Objective,10),'k.-') xlabel('Iteration number') ylabel('Objective value')
Вычислите misclassification ошибку с выбором функции.
loss_withfs = loss(nca,Xval,yval)
loss_withfs =
0.0115
Постройте выбранные функции.
figure semilogx(nca.FeatureWeights,'ro') xlabel('Feature index') ylabel('Feature weight') grid on
Выберите функции с помощью весов функции и относительного порога.
tol = 0.15; selidx = find(nca.FeatureWeights > tol*max(1,max(nca.FeatureWeights)))
selidx =
1
2
Выбор функции улучшает результаты, и fscnca обнаруживает правильные две функции как релевантные.