Выбор элемента с использованием анализа компонентов окрестности для классификации
mdl = fscnca(X,Y,Name,Value)
Создайте данные игрушек, где переменная отклика зависит от 3-го, 9-го и 15-го предикторов.
rng(0,'twister'); % For reproducibility N = 100; X = rand(N,20); y = -ones(N,1); y(X(:,3).*X(:,9)./X(:,15) < 0.4) = 1;
Подгонка модели анализа компонентов окрестности для классификации.
mdl = fscnca(X,y,'Solver','sgd','Verbose',1);
o Tuning initial learning rate: NumTuningIterations = 20, TuningSubsetSize = 100
|===============================================|
| TUNING | TUNING SUBSET | LEARNING |
| ITER | FUN VALUE | RATE |
|===============================================|
| 1 | -3.755936e-01 | 2.000000e-01 |
| 2 | -3.950971e-01 | 4.000000e-01 |
| 3 | -4.311848e-01 | 8.000000e-01 |
| 4 | -4.903195e-01 | 1.600000e+00 |
| 5 | -5.630190e-01 | 3.200000e+00 |
| 6 | -6.166993e-01 | 6.400000e+00 |
| 7 | -6.255669e-01 | 1.280000e+01 |
| 8 | -6.255669e-01 | 1.280000e+01 |
| 9 | -6.255669e-01 | 1.280000e+01 |
| 10 | -6.255669e-01 | 1.280000e+01 |
| 11 | -6.255669e-01 | 1.280000e+01 |
| 12 | -6.255669e-01 | 1.280000e+01 |
| 13 | -6.255669e-01 | 1.280000e+01 |
| 14 | -6.279210e-01 | 2.560000e+01 |
| 15 | -6.279210e-01 | 2.560000e+01 |
| 16 | -6.279210e-01 | 2.560000e+01 |
| 17 | -6.279210e-01 | 2.560000e+01 |
| 18 | -6.279210e-01 | 2.560000e+01 |
| 19 | -6.279210e-01 | 2.560000e+01 |
| 20 | -6.279210e-01 | 2.560000e+01 |
o Solver = SGD, MiniBatchSize = 10, PassLimit = 5
|==========================================================================================|
| PASS | ITER | AVG MINIBATCH | AVG MINIBATCH | NORM STEP | LEARNING |
| | | FUN VALUE | NORM GRAD | | RATE |
|==========================================================================================|
| 0 | 9 | -5.658450e-01 | 4.492407e-02 | 9.290605e-01 | 2.560000e+01 |
| 1 | 19 | -6.131382e-01 | 4.923625e-02 | 7.421541e-01 | 1.280000e+01 |
| 2 | 29 | -6.225056e-01 | 3.738784e-02 | 3.277588e-01 | 8.533333e+00 |
| 3 | 39 | -6.233366e-01 | 4.947901e-02 | 5.431133e-01 | 6.400000e+00 |
| 4 | 49 | -6.238576e-01 | 3.445763e-02 | 2.946188e-01 | 5.120000e+00 |
Two norm of the final step = 2.946e-01
Relative two norm of the final step = 6.588e-02, TolX = 1.000e-06
EXIT: Iteration or pass limit reached.
Постройте график выбранных элементов. Веса неактуальных элементов должны быть близки к нулю.
figure() plot(mdl.FeatureWeights,'ro') grid on xlabel('Feature index') ylabel('Feature weight')
fscnca правильно определяет соответствующие функции.
Загрузить данные образца
load ovariancancer;
whosName Size Bytes Class Attributes grp 216x1 25056 cell obs 216x4000 3456000 single
В этом примере используется набор данных о раке яичников с высоким разрешением, который был создан с использованием массива белков WCX2. После некоторых этапов предварительной обработки набор данных имеет две переменные: obs и grp. obs переменная состоит из 216 наблюдений с 4000 элементами. Каждый элемент в grp определяет группу, к которой относится соответствующая строка obs принадлежит.
Разделение данных на учебные и тестовые наборы
Использовать cvpartition разделить данные на обучающий набор 160 размера и тестовый набор 56 размера. Как обучающий, так и тестовый набор имеют приблизительно те же групповые пропорции, что и в grp.
rng(1); % For reproducibility cvp = cvpartition(grp,'holdout',56)
cvp =
Hold-out cross validation partition
NumObservations: 216
NumTestSets: 1
TrainSize: 160
TestSize: 56
Xtrain = obs(cvp.training,:); ytrain = grp(cvp.training,:); Xtest = obs(cvp.test,:); ytest = grp(cvp.test,:);
Определение необходимости выбора элемента
Ошибка обобщения вычислений без подгонки.
nca = fscnca(Xtrain,ytrain,'FitMethod','none'); L = loss(nca,Xtest,ytest)
L = 0.0893
Эта опция вычисляет ошибку обобщения модели выбора элемента анализа компонента окрестности (NCA), используя начальные веса элемента (в данном случае веса элемента по умолчанию), представленные в fscnca.
Подогнать NCA без параметра регуляризации (Lambda = 0)
nca = fscnca(Xtrain,ytrain,'FitMethod','exact','Lambda',0,... 'Solver','sgd','Standardize',true); L = loss(nca,Xtest,ytest)
L = 0.0714
Улучшение значения потерь предполагает, что выбор элемента является хорошей идеей. Настройка значения λ обычно улучшает результаты.
Настройка параметра регуляризации для NCA с помощью пятикратной перекрестной проверки
Настройка означает поиск значения λ, которое приводит к минимальной потере классификации. Чтобы настроить с помощью перекрестной проверки:
1. Разбейте обучающие данные на пять складок и извлеките количество наборов проверки (тестирования). Для каждой складки, cvpartition присваивает четыре пятых данных в качестве обучающего набора и одну пятую данных в качестве тестового набора.
cvp = cvpartition(ytrain,'kfold',5);
numvalidsets = cvp.NumTestSets;Назначьте значения λ и создайте массив для хранения значений функции потерь.
n = length(ytrain); lambdavals = linspace(0,20,20)/n; lossvals = zeros(length(lambdavals),numvalidsets);
2. Обучайте модель NCA для каждого значения λ, используя обучающий набор в каждой складке.
3. Вычислите потери классификации для соответствующего тестового набора в складке с помощью модели NCA. Запишите значение потери.
4. Повторите этот процесс для всех сгибов и всех значений λ.
for i = 1:length(lambdavals) for k = 1:numvalidsets X = Xtrain(cvp.training(k),:); y = ytrain(cvp.training(k),:); Xvalid = Xtrain(cvp.test(k),:); yvalid = ytrain(cvp.test(k),:); nca = fscnca(X,y,'FitMethod','exact', ... 'Solver','sgd','Lambda',lambdavals(i), ... 'IterationLimit',30,'GradientTolerance',1e-4, ... 'Standardize',true); lossvals(i,k) = loss(nca,Xvalid,yvalid,'LossFunction','classiferror'); end end
Вычислите средние потери, полученные из сгибов для каждого значения λ.
meanloss = mean(lossvals,2);
Постройте график средних значений потерь по сравнению со значениями λ.
figure() plot(lambdavals,meanloss,'ro-') xlabel('Lambda') ylabel('Loss (MSE)') grid on
Найдите наилучшее значение лямбды, соответствующее минимальным средним потерям.
[~,idx] = min(meanloss) % Find the indexidx = 2
bestlambda = lambdavals(idx) % Find the best lambda valuebestlambda = 0.0066
bestloss = meanloss(idx)
bestloss = 0.0313
Поместите модель nca на все данные, используя best , и постройте график весов элементов
Используйте решатель lbfgs и стандартизируйте предикторные значения.
nca = fscnca(Xtrain,ytrain,'FitMethod','exact','Solver','sgd',... 'Lambda',bestlambda,'Standardize',true,'Verbose',1);
o Tuning initial learning rate: NumTuningIterations = 20, TuningSubsetSize = 100
|===============================================|
| TUNING | TUNING SUBSET | LEARNING |
| ITER | FUN VALUE | RATE |
|===============================================|
| 1 | 2.403497e+01 | 2.000000e-01 |
| 2 | 2.275050e+01 | 4.000000e-01 |
| 3 | 2.036845e+01 | 8.000000e-01 |
| 4 | 1.627647e+01 | 1.600000e+00 |
| 5 | 1.023512e+01 | 3.200000e+00 |
| 6 | 3.864283e+00 | 6.400000e+00 |
| 7 | 4.743816e-01 | 1.280000e+01 |
| 8 | -7.260138e-01 | 2.560000e+01 |
| 9 | -7.260138e-01 | 2.560000e+01 |
| 10 | -7.260138e-01 | 2.560000e+01 |
| 11 | -7.260138e-01 | 2.560000e+01 |
| 12 | -7.260138e-01 | 2.560000e+01 |
| 13 | -7.260138e-01 | 2.560000e+01 |
| 14 | -7.260138e-01 | 2.560000e+01 |
| 15 | -7.260138e-01 | 2.560000e+01 |
| 16 | -7.260138e-01 | 2.560000e+01 |
| 17 | -7.260138e-01 | 2.560000e+01 |
| 18 | -7.260138e-01 | 2.560000e+01 |
| 19 | -7.260138e-01 | 2.560000e+01 |
| 20 | -7.260138e-01 | 2.560000e+01 |
o Solver = SGD, MiniBatchSize = 10, PassLimit = 5
|==========================================================================================|
| PASS | ITER | AVG MINIBATCH | AVG MINIBATCH | NORM STEP | LEARNING |
| | | FUN VALUE | NORM GRAD | | RATE |
|==========================================================================================|
| 0 | 9 | 4.016078e+00 | 2.835465e-02 | 5.395984e+00 | 2.560000e+01 |
| 1 | 19 | -6.726156e-01 | 6.111354e-02 | 5.021138e-01 | 1.280000e+01 |
| 1 | 29 | -8.316555e-01 | 4.024186e-02 | 1.196031e+00 | 1.280000e+01 |
| 2 | 39 | -8.838656e-01 | 2.333416e-02 | 1.225834e-01 | 8.533333e+00 |
| 3 | 49 | -8.669034e-01 | 3.413162e-02 | 3.421902e-01 | 6.400000e+00 |
| 3 | 59 | -8.906936e-01 | 1.946295e-02 | 2.232511e-01 | 6.400000e+00 |
| 4 | 69 | -8.778630e-01 | 3.561290e-02 | 3.290645e-01 | 5.120000e+00 |
| 4 | 79 | -8.857135e-01 | 2.516638e-02 | 3.902979e-01 | 5.120000e+00 |
Two norm of the final step = 3.903e-01
Relative two norm of the final step = 6.171e-03, TolX = 1.000e-06
EXIT: Iteration or pass limit reached.
Постройте график весов элементов.
figure() plot(nca.FeatureWeights,'ro') xlabel('Feature index') ylabel('Feature weight') grid on
Выберите элементы, используя веса элементов и относительный порог.
tol = 0.02; selidx = find(nca.FeatureWeights > tol*max(1,max(nca.FeatureWeights)))
selidx = 72×1
565
611
654
681
737
743
744
750
754
839
⋮
Вычислите потери классификации с помощью тестового набора.
L = loss(nca,Xtest,ytest)
L = 0.0179
Классификация наблюдений с использованием выбранных элементов
Извлеките элементы с весами элементов больше 0 из данных обучения.
features = Xtrain(:,selidx);
Применение классификатора вспомогательных векторных машин с использованием выбранных функций к сокращенному обучающему набору.
svmMdl = fitcsvm(features,ytrain);
Оцените точность обученного классификатора на тестовых данных, которые не использовались для выбора элементов.
L = loss(svmMdl,Xtest(:,selidx),ytest)
L = single
0