В этом примере показано, как использовать вейвлет для классификации изображений. Этот пример требует Wavelet Toolbox™, Deep Learning Toolbox™ и Parallel Computing Toolbox™.
Для задач классификации часто полезно сопоставить данные с некоторым альтернативным представлением, которое отбрасывает нерелевантную информацию с сохранением дискриминационных свойств каждого класса. Вейвлет изображений создает низкодисперсные представления изображений, которые нечувствительны к перемещениям и малым деформациям. Поскольку переводы и небольшие деформации на изображении не влияют на принадлежность к классу, коэффициенты преобразования рассеяния обеспечивают функции, из которых можно создавать устойчивые классификационные модели.
Вейвлет рассеяние работает путем каскадирования изображения через ряд вейвлета преобразований, нелинейностей и усреднения [1] [3] [4]. Результатом этой глубокой редукции данных является то, что изображения в одном и том же классе перемещаются ближе друг к другу в представлении преобразования рассеяния, в то время как изображения, принадлежащие к различным классам, перемещаются дальше друг от друга. В то время как преобразование вейвлет имеет ряд архитектурных сходств с глубокими сверточными нейронными сетями, включая операторы свертки, нелинейности и усреднение, фильтры в преобразовании рассеяния предопределены и фиксированы.
Набор данных, используемый в этом примере, содержит 10 000 синтетических изображений цифр от 0 до 9. Изображения генерируются путем применения случайных преобразований к изображениям цифр, созданных различными шрифтами. Каждое цифровое изображение составляет 28 на 28 пикселей. Набор данных содержит равное количество изображений в категории. Используйте imageDataStore
для чтения изображений.
digitDatasetPath = fullfile(matlabroot,'toolbox','nnet','nndemos','nndatasets','DigitDataset'); Imds = imageDatastore(digitDatasetPath,'IncludeSubfolders',true, 'LabelSource','foldernames');
Случайным образом выберите и отобразите 20 изображений из набора данных.
figure numImages = 10000; rng(100); perm = randperm(numImages,20); for np = 1:20 subplot(4,5,np); imshow(Imds.Files{perm(np)}); end
Можно видеть, что 8s демонстрирует значительную изменчивость, в то время как все идентифицируются как 8. То же самое относится и к другим повторным цифрам в выборке. Это согласуется с естественным почерком, где любая цифра отличается нетривиально между индивидуумами и даже в пределах одного и того же почерка в отношении перемещения, вращения и других малых деформаций. Используя вейвлет, мы надеемся создать представления этих цифр, которые заслоняют эту нерелевантную изменчивость.
Синтетические изображения 28 на 28. Создайте среду рассеяния вейвлет и установите инвариационную шкалу равной размеру изображения. Установите количество вращений равное 8 в каждом из двух вейвлетов блоков рассеивающих фильтров. Конструкция среды рассеяния вейвлета требует, чтобы мы установили только два гиперпараметра: InvarianceScale
и NumRotations
.
sf = waveletScattering2('ImageSize',[28 28],'InvarianceScale',28, ... 'NumRotations',[8 8]);
Этот пример использует MATLAB™ возможности параллельной обработки через tall
интерфейс массива. Если параллельный пул в данный момент не работает, его можно запустить, выполнив следующий код. Кроме того, при первом создании tall
массив, создается параллельный пул.
if isempty(gcp) parpool; end
Starting parallel pool (parpool) using the 'local' profile ... Connected to the parallel pool (number of workers: 6).
Для повторяемости установите генератор случайных чисел. Тасуйте файлы imageDatastore
и разделите 10 000 изображений на два набора, один для обучения и один удерживаемый набор для проверки. Выделите 80% данных, или 8000 изображений, набор обучающих данных и протяните оставшиеся 2000 изображений для проверки. Создание tall
массивы из обучающих и тестовых наборов данных. Используйте функцию helper helperScatImages
чтобы создать векторы функций из коэффициентов преобразования рассеяния. helperScatImages
получает логарифм матрицы функции преобразования рассеяния, а также среднее значение вдоль обеих строк и столбцов размерностей каждого изображения. Код для helperScatImages
находится в конце этого примера. Для каждого изображения в этом примере вспомогательная функция создает вектор признака 217 на 1.
rng(10); Imds = shuffle(Imds); [trainImds,testImds] = splitEachLabel(Imds,0.8); Ttrain = tall(trainImds); Ttest = tall(testImds); trainfeatures = cellfun(@(x)helperScatImages(sf,x),Ttrain,'UniformOutput',false); testfeatures = cellfun(@(x)helperScatImages(sf,x),Ttest,'UniformOutput',false);
Использование tall
<reservedrangesplaceholder0>
возможность конкатенировать все обучающие и тестовые функции.
Trainf = gather(trainfeatures);
Evaluating tall expression using the Parallel Pool 'local': - Pass 1 of 1: Completed in 3 min 51 sec Evaluation completed in 3 min 51 sec
trainfeatures = cat(2,Trainf{:}); Testf = gather(testfeatures);
Evaluating tall expression using the Parallel Pool 'local': - Pass 1 of 1: Completed in 49 sec Evaluation completed in 49 sec
testfeatures = cat(2,Testf{:});
Предыдущий код приводит к двум матрицам с размерностями строк 217 и размерностью столбцов, равными количеству изображений в наборах обучения и тестов соответственно. Соответственно, каждый столбец является вектором функций для своего соответствующего изображения. Оригинальные изображения содержали 784 элемента. Коэффициенты рассеяния представляют приблизительное 4-кратное уменьшение размера каждого изображения.
Этот пример создает простой классификатор, основанный на основных компонентах векторов функций рассеяния для каждого класса. Классификатор реализован в функциях helperPCAModel
и helperPCAClassifier
. helperPCAModel
определяет основные компоненты для каждого класса цифр на основе функций рассеяния. Код для helperPCAModel
находится в конце этого примера. helperPCAClassifier
классифицирует задержанные тестовые данные путем нахождения ближайшего соответствия (лучшая проекция) между основными компонентами каждого вектора тестовой функции с набора обучающих данных и присвоения класса соответственно. Код для helperPCAClassifier
находится в конце этого примера.
model = helperPCAModel(trainfeatures,30,trainImds.Labels); predlabels = helperPCAClassifier(testfeatures,model);
После построения модели и классификации тестового набора определите точность классификации тестового набора.
accuracy = sum(testImds.Labels == predlabels)./numel(testImds.Labels)*100
accuracy = 99.6000
Мы достигли 99,6% правильной классификации тестовых данных. Чтобы увидеть, как были классифицированы 2000 тестовых изображений, постройте матрицу неточностей. В тестовом наборе 200 примеров для каждого из 10 классов.
figure;
confusionchart(testImds.Labels,predlabels)
title('Test-Set Confusion Matrix -- Wavelet Scattering')
В этом разделе мы обучаем простую сверточную нейронную сеть (CNN) распознавать цифры. Построите CNN, чтобы состоять из слоя свертки с 20 фильтрами 5 на 5 с полосами 1 на 1. Следуйте слою свертки с активацией RELU и максимальным слоем объединения. Используйте полносвязный слой, а затем слой softmax, чтобы нормализовать выход полносвязного слоя к вероятностям. Используйте функцию потери перекрестной энтропии для обучения.
imageSize = [28 28 1]; layers = [ ... imageInputLayer([28 28 1]) convolution2dLayer(5,20) reluLayer maxPooling2dLayer(2,'Stride',2) fullyConnectedLayer(10) softmaxLayer classificationLayer];
Используйте стохастический градиентный спуск с импульсом и скоростью обучения 0,0001 для обучения. Установите максимальное количество эпох равное 20. Для воспроизводимости установите ExecutionEnvironment
на 'cpu'
.
options = trainingOptions('sgdm', ... 'MaxEpochs',20,... 'InitialLearnRate',1e-4, ... 'Verbose',false, ... 'Plots','training-progress','ExecutionEnvironment','cpu');
Обучите сеть. Для обучения и проверки мы используем те же наборы данных, что и в преобразовании рассеяния.
reset(trainImds); reset(testImds); net = trainNetwork(trainImds,layers,options);
К концу обучения CNN выступает около 100% на набор обучающих данных. Используйте обученную сеть, чтобы делать предсказания на задержанном тестовом наборе.
YPred = classify(net,testImds,'ExecutionEnvironment','cpu'); DCNNaccuracy = sum(YPred == testImds.Labels)/numel(YPred)*100
DCNNaccuracy = 95.5000
Простая CNN достигла 95,5% правильной классификации на удерживаемом тестовом наборе. Постройте график неточностей для CNN.
figure;
confusionchart(testImds.Labels,YPred)
title('Test-Set Confusion Chart -- CNN')
Этот пример использовал вейвлет изображений, чтобы создать низкодисперсные представления цифровых изображений для классификации. Используя преобразование рассеяния с фиксированными весами фильтра и классификатором простых основных компонентов, мы достигли 99,6% правильной классификации на задержанном тестовом наборе. С помощью простого CNN, в котором фильтры выучены, мы добились 95,5% правильности. Этот пример не предназначен как прямое сравнение преобразования рассеяния и CNNs. Существует несколько гиперпараметров и архитектурных изменений, которые можно внести в каждом случае, что существенно влияет на результаты. Цель этого примера была просто продемонстрировать потенциал глубоких экстракторов функций, таких как преобразование вейвлет, чтобы создать устойчивые представления данных для обучения.
[1] Бруна, Дж., и С. Маллат. «Инвариантные сети свертки рассеяния». Транзакции IEEE по шаблонному анализу и машинному анализу. Том 35, № 8, 2013, с. 1872-1886.
[2] Mallat, S. «Group Invariant Scattering». Коммуникации в чистой и прикладной математике. Том 65, № 10, 2012, с. 1331-1398.
[3] Sifre, L., and S. Mallat. «Вращение, масштабирование и деформация инвариантного рассеяния для дискриминации текстур». 2013 IEEE Conference on Компьютерное Зрение and Pattern Recognition. 2013, стр. 1233-1240. 10.1109/CVPR.2013.163.
helperScatImages
function features = helperScatImages(sf,x) % This function is only to support examples in the Wavelet Toolbox. % It may change or be removed in a future release. % Copyright 2018 MathWorks smat = featureMatrix(sf,x,'transform','log'); features = mean(mean(smat,2),3); end
helperPCAModel
function model = helperPCAModel(features,M,Labels) % This function is only to support wavelet image scattering examples in % Wavelet Toolbox. It may change or be removed in a future release. % model = helperPCAModel(features,M,Labels) % Copyright 2018 MathWorks % Initialize structure array to hold the affine model model = struct('Dim',[],'mu',[],'U',[],'Labels',categorical([]),'s',[]); model.Dim = M; % Obtain the number of classes LabelCategories = categories(Labels); Nclasses = numel(categories(Labels)); for kk = 1:Nclasses Class = LabelCategories{kk}; % Find indices corresponding to each class idxClass = Labels == Class; % Extract feature vectors for each class tmpFeatures = features(:,idxClass); % Determine the mean for each class model.mu{kk} = mean(tmpFeatures,2); [model.U{kk},model.S{kk}] = scatPCA(tmpFeatures); if size(model.U{kk},2) > M model.U{kk} = model.U{kk}(:,1:M); model.S{kk} = model.S{kk}(1:M); end model.Labels(kk) = Class; end function [u,s,v] = scatPCA(x,M) % Calculate the principal components of x along the second dimension. if nargin > 1 && M > 0 % If M is non-zero, calculate the first M principal components. [u,s,v] = svds(x-sig_mean(x),M); s = abs(diag(s)/sqrt(size(x,2)-1)).^2; else % Otherwise, calculate all the principal components. % Each row is an observation, i.e. the number of scattering paths % Each column is a class observation [u,d] = eig(cov(x')); [s,ind] = sort(diag(d),'descend'); u = u(:,ind); end end end
helperPCAClassifier
function labels = helperPCAClassifier(features,model) % This function is only to support wavelet image scattering examples in % Wavelet Toolbox. It may change or be removed in a future release. % model is a structure array with fields, M, mu, v, and Labels % features is the matrix of test data which is Ns-by-L, Ns is the number of % scattering paths and L is the number of test examples. Each column of % features is a test example. % Copyright 2018 MathWorks labelIdx = determineClass(features,model); labels = model.Labels(labelIdx); % Returns as column vector to agree with imageDatastore Labels labels = labels(:); %-------------------------------------------------------------------------- function labelIdx = determineClass(features,model) % Determine number of classes Nclasses = numel(model.Labels); % Initialize error matrix errMatrix = Inf(Nclasses,size(features,2)); for nc = 1:Nclasses % class centroid mu = model.mu{nc}; u = model.U{nc}; % 1-by-L errMatrix(nc,:) = projectionError(features,mu,u); end % Determine minimum along class dimension [~,labelIdx] = min(errMatrix,[],1); %-------------------------------------------------------------------------- function totalerr = projectionError(features,mu,u) % Npc = size(u,2); L = size(features,2); % Subtract class mean: Ns-by-L minus Ns-by-1 s = features-mu; % 1-by-L normSqX = sum(abs(s).^2,1)'; err = Inf(Npc+1,L); err(1,:) = normSqX; err(2:end,:) = -abs(u'*s).^2; % 1-by-L totalerr = sqrt(sum(err,1)); end end end