imageLIME
Объясните предсказания сети с помощью LIME
Синтаксис
Описание
scoreMap = imageLIME(net,X,label)X когда сеть net оценивает счет класса для класса, заданную как label. Используйте эту функцию, чтобы объяснить решения классификации и проверить, что ваша сеть фокусируется на соответствующих функциях изображения.
Метод LIME аппроксимирует классификационное поведение net использование более простой, более интерпретируемой модели. Путем генерации синтетических данных из входных X, классификация синтетических данных с помощью net, а затем используя результаты для соответствия простой регрессионой модели, imageLIME функция определяет важность каждой характеристики X к классификационной оценке сети для класса, заданному label.
Эта функция требует Statistics and Machine Learning Toolbox™.
[ также возвращает карту функций, используемую для вычисления результатов LIME и вычисленной важности каждой функции.scoreMap,featureMap,featureImportance] = imageLIME(net,X,label)
___ = imageLIME(___, задает опции, использующие один или несколько аргументы пары "имя-значение" в дополнение к входным параметрам в предыдущих синтаксисах. Для примера, Name,Value)'NumFeatures',100 устанавливает целевое число функций равное 100.
Примеры
Визуализация частей изображения, важных для классификации
Использование imageLIME визуализация частей изображения важна для сети для решения о классификации.
Импортируйте предварительно обученную сеть SqueezeNet.
net = squeezenet;
Импортируйте изображение и измените размер, чтобы соответствовать размеру входа для сети.
X = imread("laika_grass.jpg");
inputSize = net.Layers(1).InputSize(1:2);
X = imresize(X,inputSize);Отобразите изображение. Изображение - собака по имени Лайка.
imshow(X)
Классифицируйте изображение, чтобы получить метку класса.
label = classify(net,X)
label = categorical
toy poodle
Использование imageLIME определить, какие части изображения важны для результата классификации.
scoreMap = imageLIME(net,X,label);
Постройте график результата по оригинальному изображению с прозрачностью, чтобы увидеть, какие области изображения влияют на классификационную оценку.
figure imshow(X) hold on imagesc(scoreMap,'AlphaData',0.5) colormap jet
Сеть фокусируется преимущественно на голове Лайки и обратно, чтобы принять решение о классификации. Глаз и ухо Лайки также важны для результата классификации.
Визуализация только наиболее важных функций
Использование imageLIME определить самые важные функции в изображении и изолировать их от неважных функций.
Импортируйте предварительно обученную сеть SqueezeNet.
net = squeezenet;
Импортируйте изображение и измените размер, чтобы соответствовать размеру входа для сети.
X = imread("sherlock.jpg");
inputSize = net.Layers(1).InputSize(1:2);
X = imresize(X,inputSize);Классифицируйте изображение, чтобы получить метку класса.
label = classify(net,X)
label = categorical
golden retriever
Вычислите карту функции важности, а также получите карту функций и функции важности. Установите метод сегментации изображений равным 'grid', количество функций, которые нужно 64, и количество синтетических изображений в 3072.
[scoreMap,featureMap,featureImportance] = imageLIME(net,X,label,'Segmentation','grid','NumFeatures',64,'NumSamples',3072);
Постройте график результата по оригинальному изображению с прозрачностью, чтобы увидеть, какие области изображения влияют на классификационную оценку.
figure imshow(X) hold on imagesc(scoreMap,'AlphaData',0.5) colormap jet colorbar
Используйте значение функции, чтобы найти индексы наиболее важных пяти функций.
numTopFeatures = 5; [~,idx] = maxk(featureImportance,numTopFeatures);
Используйте карту функций, чтобы замаскировать изображение, так что видны только самые важные пять функций. Отобразите маскированное изображение.
mask = ismember(featureMap,idx); maskedImg = uint8(mask).*X; figure imshow(maskedImg);
Просмотр важных функций с помощью пользовательской карты сегментации
Использование imageLIME с помощью пользовательской карты сегментации для просмотра наиболее важнейшие функции для решения классификации.
Импортируйте предварительно обученную сеть GoogLeNet.
net = googlenet;
Импортируйте изображение и измените размер, чтобы соответствовать размеру входа для сети.
X = imread("sherlock.jpg");
inputSize = net.Layers(1).InputSize(1:2);
X = imresize(X,inputSize);Классифицируйте изображение, чтобы получить метку класса.
label = classify(net,X)
label = categorical
golden retriever
Создайте матрицу, определяющую пользовательскую карту сегментации, которая разделяет изображение на треугольные сегменты. Каждый треугольный сегмент представляет функция.
Начните с определения матрицы с размером, равным входу изображения.
segmentationMap = zeros(inputSize(1));
Затем создайте карту сегментации меньшего размера, которая разделяет область 56 на 56 пикселей на две треугольные функции. Присвойте значения 1 и 2 верхнему и нижнему сегментам, представляющим первые и вторые функции, соответственно.
blockSize = 56;
segmentationSubset = ones(blockSize);
segmentationSubset = tril(segmentationSubset) + segmentationSubset;
% Set the diagonal elements to alternate values 1 and 2.
segmentationSubset(1:(blockSize+1):end) = repmat([1 2],1,blockSize/2)';Чтобы создать пользовательскую карту сегментации для всего изображения, повторите маленькую карту сегментации. Каждый раз, когда вы повторяете меньшую карту, увеличивайте значения индекса функции так, чтобы пиксели в каждом треугольном сегменте соответствовали уникальной функции. В последней матрице значение 1 указывает первую функцию, значение 2 - вторая функция и так далее для каждого сегмента изображения.
blocksPerSide = inputSize(1)/blockSize; subset = 0; for i=1:blocksPerSide for j=1:blocksPerSide xidx = (blockSize*(i-1))+1:(blockSize*i); yidx = (blockSize*(j-1))+1:(blockSize*j); segmentationMap(xidx,yidx) = segmentationSubset + 2*subset; subset = subset + 1; end end
Просмотрите карту сегментации. Эта карта разделяет изображение на 32 треугольных области.
figure imshow(X) hold on imagesc(segmentationMap,'AlphaData',0.8); title('Custom Segmentation Map') colormap gray
Использование imageLIME с помощью пользовательской карты сегментации, чтобы определить, какие части изображения наиболее важны для результата классификации.
scoreMap = imageLIME(net,X,label, ... 'Segmentation',segmentationMap);
Постройте график результата imageLIME по оригинальному изображению увидеть, какие области изображения влияют на классификационную оценку.
figure; imshow(X) hold on title('Image LIME (Golden Retriever)') colormap jet; imagesc(scoreMap, "AlphaData", 0.5);
Красные области карты имеют более большое значение - когда эти области удаляются, счет для класса золотого ретривера падает. Наиболее важнейшая функция для этой классификации является ухо.
Входные параметры
Выходные аргументы
Подробнее о
См. также
activations | classify | gradCAM | occlusionSensitivity
Темы
- Осмыслите сетевые Предсказания с помощью LIME
- Исследование классификаций спектрограмм с использованием LIME
- Интерпретируйте глубокие сетевые Предсказания на табличных данных с помощью LIME
- Осмыслите сетевые Предсказания с помощью окклюзии
- Grad-CAM раскрывает, почему решения по глубокому обучению
- Исследуйте сетевые предсказания, используя отображение активации классов