Класс: FeatureSelectionNCAClassification
Преобразуйте модель анализа соседних компонентов (NCA) для классификации
mdlrefit = refit(mdl,Name,Value)
mdlrefit = refit(mdl,Name,Value)mdl, с измененными параметрами, заданными одним или несколькими Name,Value аргументы в виде пар.
Сгенерируйте шахматные данные с помощью generateCheckerBoardData.m функция.
rng(2016,'twister'); % For reproducibility pps = 1375; [X,y] = generateCheckerBoardData(pps); X = X + 2;
Постройте график данных.
figure plot(X(y==1,1),X(y==1,2),'rx') hold on plot(X(y==-1,1),X(y==-1,2),'bx') [n,p] = size(X)
n =
22000
p =
2
Добавьте нерелевантные предикторы к данным.
Q = 98; Xrnd = unifrnd(0,4,n,Q); Xobs = [X,Xrnd];
Эта часть кода создает 98 дополнительных предикторов, все равномерно распределенных между 0 и 4.
Разделите данные на обучающие и тестовые наборы. Чтобы создать стратифицированные разделы, чтобы каждый раздел имел одинаковую долю классов, используйте y вместо length(y) как критерий разбиения.
cvp = cvpartition(y,'holdout',2000);
cvpartition случайным образом выбирает 2000 наблюдений для добавления к тестовому набору и остальную часть данных для добавления к набору обучающих данных. Создайте наборы обучения и валидации с помощью назначений, хранящихся в cvpartition cvp объекта .
Xtrain = Xobs(cvp.training(1),:); ytrain = y(cvp.training(1),:); Xval = Xobs(cvp.test(1),:); yval = y(cvp.test(1),:);
Вычислите ошибку классификации без выбора признаков.
nca = fscnca(Xtrain,ytrain,'FitMethod','none','Standardize',true, ... 'Solver','lbfgs'); loss_nofs = loss(nca,Xval,yval)
loss_nofs =
0.5165
'FitMethod','none' опция использует веса по умолчанию (все 1s), что означает, что все функции одинаково важны.
На этот раз выполните выбор признаков, используя анализ компонентов окрестностей для классификации, с.
w0 = rand(100,1); n = length(ytrain) lambda = 1/n; nca = refit(nca,'InitialFeatureWeights',w0,'FitMethod','exact', ... 'Lambda',lambda,'solver','sgd');
n =
20000
Постройте график значения целевой функции от числа итерации.
figure() plot(nca.FitInfo.Iteration,nca.FitInfo.Objective,'ro') hold on plot(nca.FitInfo.Iteration,movmean(nca.FitInfo.Objective,10),'k.-') xlabel('Iteration number') ylabel('Objective value')
Вычислите ошибку классификации с выбором признаков.
loss_withfs = loss(nca,Xval,yval)
loss_withfs =
0.0115
Постройте график выбранных функций.
figure semilogx(nca.FeatureWeights,'ro') xlabel('Feature index') ylabel('Feature weight') grid on
Выберите функции, используя веса функций и относительный порог.
tol = 0.15; selidx = find(nca.FeatureWeights > tol*max(1,max(nca.FeatureWeights)))
selidx =
1
2
Выбор признаков улучшает результаты и fscnca определяет правильные две функции.