Объяснение сетевых прогнозов с использованием LIME
scoreMap = imageLIME(net,X,label)X когда сеть net оценивает балл класса для класса, заданного label. Эта функция используется для пояснения классификационных решений и проверки того, что сеть фокусируется на соответствующих функциях изображения.
Метод LIME аппроксимирует классификационное поведение net использование более простой, более интерпретируемой модели. Путем генерации синтетических данных из входных данных X, классификация синтетических данных с использованием net, а затем используя результаты для соответствия простой регрессионной модели, imageLIME функция определяет важность каждой функции X к шкале классификации сети для класса, label.
Для выполнения этой функции требуются Toolbox™ статистики и машинного обучения.
[ также возвращает карту элементов, используемых для вычисления результатов LIME, и вычисленную важность каждого элемента.scoreMap,featureMap,featureImportance] = imageLIME(net,X,label)
___ = imageLIME(___, указывает параметры, использующие один или несколько аргументов пары имя-значение в дополнение к входным аргументам в предыдущих синтаксисах. Например, Name,Value)'NumFeatures',100 устанавливает целевое количество элементов равным 100.
Использовать imageLIME визуализация частей изображения важна для сети для принятия решения о классификации.
Импортируйте предварительно обученную сеть SqueeEcNet.
net = squeezenet;
Импортируйте изображение и измените его размер, чтобы он соответствовал входному размеру сети.
X = imread("laika_grass.jpg");
inputSize = net.Layers(1).InputSize(1:2);
X = imresize(X,inputSize);Отображение изображения. Изображение собаки по кличке Лайка.
imshow(X)
Классифицируйте изображение, чтобы получить метку класса.
label = classify(net,X)
label = categorical
toy poodle
Использовать imageLIME определить, какие части изображения важны для результата классификации.
scoreMap = imageLIME(net,X,label);
Постройте график результата над исходным изображением с прозрачностью, чтобы увидеть, какие области изображения влияют на оценку классификации.
figure imshow(X) hold on imagesc(scoreMap,'AlphaData',0.5) colormap jet
Сеть фокусируется преимущественно на голове Лайки и обратно, чтобы принять решение о классификации. Глаз и ухо Лайки также важны для результата классификации.
Использовать imageLIME определить наиболее важные элементы изображения и изолировать их от неважных элементов.
Импортируйте предварительно обученную сеть SqueeEcNet.
net = squeezenet;
Импортируйте изображение и измените его размер, чтобы он соответствовал входному размеру сети.
X = imread("sherlock.jpg");
inputSize = net.Layers(1).InputSize(1:2);
X = imresize(X,inputSize);Классифицируйте изображение, чтобы получить метку класса.
label = classify(net,X)
label = categorical
golden retriever
Вычислите карту важности элемента, а также получите карту важности элемента. Задайте для метода сегментации изображения значение 'grid', количество элементов для 64и количество синтетических изображений для 3072.
[scoreMap,featureMap,featureImportance] = imageLIME(net,X,label,'Segmentation','grid','NumFeatures',64,'NumSamples',3072);
Постройте график результата над исходным изображением с прозрачностью, чтобы увидеть, какие области изображения влияют на оценку классификации.
figure imshow(X) hold on imagesc(scoreMap,'AlphaData',0.5) colormap jet colorbar
Используйте значение элемента, чтобы найти индексы наиболее важных пяти элементов.
numTopFeatures = 5; [~,idx] = maxk(featureImportance,numTopFeatures);
Используйте карту элементов, чтобы замаскировать изображение, чтобы были видны только наиболее важные пять элементов. Отображение маскированного изображения.
mask = ismember(featureMap,idx); maskedImg = uint8(mask).*X; figure imshow(maskedImg);
Использовать imageLIME с пользовательской картой сегментации для просмотра наиболее важных функций при принятии решения о классификации.
Импортируйте предварительно подготовленную сеть GoogLeNet.
net = googlenet;
Импортируйте изображение и измените его размер, чтобы он соответствовал входному размеру сети.
X = imread("sherlock.jpg");
inputSize = net.Layers(1).InputSize(1:2);
X = imresize(X,inputSize);Классифицируйте изображение, чтобы получить метку класса.
label = classify(net,X)
label = categorical
golden retriever
Создайте матрицу, определяющую пользовательскую карту сегментации, разделяющую изображение на треугольные сегменты. Каждый треугольный сегмент представляет собой элемент.
Начните с определения матрицы с размером, равным входному размеру изображения.
segmentationMap = zeros(inputSize(1));
Затем создайте карту сегментации меньшего размера, которая делит область 56 на 56 пикселей на два треугольных элемента. Назначьте значения 1 и 2 верхнему и нижнему сегментам, представляющим первый и второй элементы соответственно.
blockSize = 56;
segmentationSubset = ones(blockSize);
segmentationSubset = tril(segmentationSubset) + segmentationSubset;
% Set the diagonal elements to alternate values 1 and 2.
segmentationSubset(1:(blockSize+1):end) = repmat([1 2],1,blockSize/2)';Чтобы создать пользовательскую карту сегментации для всего изображения, повторите небольшую карту сегментации. Каждый раз, когда вы повторяете меньшую карту, увеличивайте значения индекса элемента так, чтобы пикселы в каждом треугольном сегменте соответствовали уникальному элементу. В конечной матрице значение 1 указывает первый элемент, значение 2 - второй элемент и так далее для каждого сегмента изображения.
blocksPerSide = inputSize(1)/blockSize; subset = 0; for i=1:blocksPerSide for j=1:blocksPerSide xidx = (blockSize*(i-1))+1:(blockSize*i); yidx = (blockSize*(j-1))+1:(blockSize*j); segmentationMap(xidx,yidx) = segmentationSubset + 2*subset; subset = subset + 1; end end
Просмотр карты сегментации. Эта карта делит изображение на 32 треугольные области.
figure imshow(X) hold on imagesc(segmentationMap,'AlphaData',0.8); title('Custom Segmentation Map') colormap gray
Использовать imageLIME с помощью пользовательской карты сегментации, чтобы определить, какие части изображения наиболее важны для результата классификации.
scoreMap = imageLIME(net,X,label, ... 'Segmentation',segmentationMap);
Постройте график результата imageLIME поверх исходного изображения, чтобы увидеть, какие области изображения влияют на оценку классификации.
figure; imshow(X) hold on title('Image LIME (Golden Retriever)') colormap jet; imagesc(scoreMap, "AlphaData", 0.5);
Красные области карты имеют большее значение - при удалении этих областей оценка за класс золотистого ретривера снижается. Наиболее важной особенностью этой классификации является ухо.
activations | classify | gradCAM | occlusionSensitivity