Этот пример показывает, как использовать мешок подхода функций для классификации категорий изображений. Этот метод также часто упоминается как мешок слов. Классификация визуального изображения является процессом присвоения подписи категории к изображению под тестом. Категории могут содержать изображения, представляющие примерно что-либо, например, собак, кошек, train, лодки.
Разархивируйте набор изображений, чтобы использовать для этого примера.
unzip('MerchData.zip');Загрузите набор изображений с помощью imageDatastore, чтобы помочь вам управлять данными. Поскольку imageDatastore работает с местоположениями файла изображения, и поэтому не загружает все изображения в память, безопасно использовать на больших наборах изображений.
imds = imageDatastore('MerchData','IncludeSubfolders',true,'LabelSource','foldernames');
Можно легко осмотреть количество изображений на категорию, а также подписи категорий как показано ниже:
tbl = countEachLabel(imds)
tbl=5×2 table
Label Count
_______________________ _____
MathWorks Cap 15
MathWorks Cube 15
MathWorks Playing Cards 15
MathWorks Screwdriver 15
MathWorks Torch 15
Обратите внимание на то, что метки были выведены от имен каталогов, раньше создавал ImageDatastore, но может быть настроен путем ручной установки свойства Labels объекта ImageDatastore. Затем, отобразите несколько изображений, чтобы получить смысл типа используемых изображений.
figure montage(imds.Files(1:16:end))
Обратите внимание на то, что для мешка подхода функций, чтобы быть эффективным, большинство объекта должно быть видимо в изображении.
Разделите наборы на данные об обучении и валидации. Выберите 60% изображений от каждого набора для данных тренировки и остатка, 40%, для данных о валидации. Рандомизируйте разделение, чтобы не смещать результаты.
[trainingSet, validationSet] = splitEachLabel(imds, 0.6, 'randomize');Вышеупомянутый вызов возвращает два объекта imageDatastore, готовые к задачам обучения и валидации.
Мешок слов является методом, адаптированным к компьютерному зрению от мира обработки естественного языка. Поскольку изображения на самом деле не содержат дискретные слова, мы сначала создаем "словарь" представителя функций SURF каждой категории изображений.
Это выполняется с одним вызовом функции bagOfFeatures, который:
SURF извлечений показывает от всех изображений во всех категориях изображений
создает визуальный словарь путем сокращения количества функций посредством квантования пространства признаков с помощью K-средней кластеризации
bag = bagOfFeatures(trainingSet);
Creating Bag-Of-Features. ------------------------- * Image category 1: MathWorks Cap * Image category 2: MathWorks Cube * Image category 3: MathWorks Playing Cards * Image category 4: MathWorks Screwdriver * Image category 5: MathWorks Torch * Selecting feature point locations using the Grid method. * Extracting SURF features from the selected feature point locations. ** The GridStep is [8 8] and the BlockWidth is [32 64 96 128]. * Extracting features from 45 images...done. Extracted 141120 features. * Keeping 80 percent of the strongest features from each category. * Using K-Means clustering to create a 500 word visual vocabulary. * Number of features : 112895 * Number of clusters (K) : 500 * Initializing cluster centers...100.00%. * Clustering...completed 21/100 iterations (~0.25 seconds/iteration)...converged in 21 iterations. * Finished creating Bag-Of-Features
Кроме того, объект bagOfFeatures предоставляет метод encode для подсчета визуальных случаев слова в изображении. Это произвело гистограмму, которая становится новым и уменьшаемым представлением изображения.
img = readimage(imds, 1); featureVector = encode(bag, img); % Plot the histogram of visual word occurrences figure bar(featureVector) title('Visual word occurrences') xlabel('Visual word index') ylabel('Frequency of occurrence')
Эта гистограмма формирует основание для обучения классификатор и для классификации действительных образов. В сущности это кодирует изображение в характеристический вектор.
Закодированные учебные изображения от каждой категории поданы в процесс обучения классификатора, вызванный функцией trainImageCategoryClassifier. Обратите внимание на то, что эта функция полагается на мультикласс линейный классификатор SVM от Statistics and Machine Learning Toolbox™.
categoryClassifier = trainImageCategoryClassifier(trainingSet, bag);
Training an image category classifier for 5 categories. -------------------------------------------------------- * Category 1: MathWorks Cap * Category 2: MathWorks Cube * Category 3: MathWorks Playing Cards * Category 4: MathWorks Screwdriver * Category 5: MathWorks Torch * Encoding features for 45 images...done. * Finished training the category classifier. Use evaluate to test the classifier on a test set.
Вышеупомянутая функция использует метод encode объекта входа bag сформулировать характеристические векторы, представляющие каждую категорию изображений от trainingSet.
Теперь, когда у нас есть обученный классификатор, categoryClassifier, давайте оценим его. Как проверка работоспособности, давайте сначала протестируем его с набором обучающих данных, который должен произвести близкую совершенную матрицу беспорядка, т.е. единицы на диагонали.
confMatrix = evaluate(categoryClassifier, trainingSet);
Evaluating image category classifier for 5 categories.
-------------------------------------------------------
* Category 1: MathWorks Cap
* Category 2: MathWorks Cube
* Category 3: MathWorks Playing Cards
* Category 4: MathWorks Screwdriver
* Category 5: MathWorks Torch
* Evaluating 45 images...done.
* Finished evaluating all the test sets.
* The confusion matrix for this test set is:
PREDICTED
KNOWN | MathWorks Cap MathWorks Cube MathWorks Playing Cards MathWorks Screwdriver MathWorks Torch
----------------------------------------------------------------------------------------------------------------------------------
MathWorks Cap | 1.00 0.00 0.00 0.00 0.00
MathWorks Cube | 0.00 0.89 0.00 0.00 0.11
MathWorks Playing Cards | 0.00 0.00 1.00 0.00 0.00
MathWorks Screwdriver | 0.00 0.00 0.00 1.00 0.00
MathWorks Torch | 0.00 0.00 0.00 0.00 1.00
* Average Accuracy is 0.98.
Затем, давайте оценим классификатор на validationSet, который не использовался во время обучения. По умолчанию функция evaluate возвращает матрицу беспорядка, которая является хорошим начальным индикатором того, как хорошо классификатор выполняет.
confMatrix = evaluate(categoryClassifier, validationSet);
Evaluating image category classifier for 5 categories.
-------------------------------------------------------
* Category 1: MathWorks Cap
* Category 2: MathWorks Cube
* Category 3: MathWorks Playing Cards
* Category 4: MathWorks Screwdriver
* Category 5: MathWorks Torch
* Evaluating 30 images...done.
* Finished evaluating all the test sets.
* The confusion matrix for this test set is:
PREDICTED
KNOWN | MathWorks Cap MathWorks Cube MathWorks Playing Cards MathWorks Screwdriver MathWorks Torch
----------------------------------------------------------------------------------------------------------------------------------
MathWorks Cap | 1.00 0.00 0.00 0.00 0.00
MathWorks Cube | 0.00 0.67 0.17 0.17 0.00
MathWorks Playing Cards | 0.00 0.00 1.00 0.00 0.00
MathWorks Screwdriver | 0.00 0.00 0.00 1.00 0.00
MathWorks Torch | 0.17 0.00 0.00 0.00 0.83
* Average Accuracy is 0.90.
% Compute average accuracy
mean(diag(confMatrix))ans = 0.9000
Можно настроить гиперпараметры bagOfFeatures и продолжить оценивать обученный классификатор, пока вы не удовлетворены результатами. Дополнительная статистика может быть выведена с помощью остальной части аргументов, возвращенных выполнять функцией. Смотрите справку для imageCategoryClassifier/evaluate.
Можно теперь применить недавно обученный классификатор, чтобы категоризировать новые изображения.
img = imread(fullfile('MerchData','MathWorks Cap','Hat_0.jpg')); figure imshow(img)
[labelIdx, scores] = predict(categoryClassifier, img);
% Display the string label
categoryClassifier.Labels(labelIdx)ans = 1x1 cell array
{'MathWorks Cap'}