Объясните сетевые предсказания с помощью LIME
scoreMap = imageLIME(net,X,label)X когда сеть net оценивает счет класса к классу, данному label. Используйте эту функцию, чтобы объяснить решения классификации и проверять, что ваша сеть фокусируется на соответствующих функциях изображения.
Метод LIME аппроксимирует поведение классификации net использование более простого, большего количества поддающейся толкованию модели. Путем генерации синтетических данных из входа X, классификация синтетических данных с помощью net, и затем с помощью результатов подбирать простую модель регрессии, imageLIME функция определяет важность каждой функции X к классификационной оценке сети для класса, данного label.
Эта функция требует Statistics and Machine Learning Toolbox™.
[ также возвращается, карта функций использовалась для расчета результатов LIME и расчетной важности каждой функции.scoreMap,featureMap,featureImportance] = imageLIME(net,X,label)
___ = imageLIME(___, задает опции с помощью одного или нескольких аргументов пары "имя-значение" в дополнение к входным параметрам в предыдущих синтаксисах. Например, Name,Value)'NumFeatures',100 определяет целевой номер функций к 100.
Используйте imageLIME чтобы визуализировать части изображения важны для сети для решения классификации.
Импортируйте предварительно обученную сеть SqueezeNet.
net = squeezenet;
Импортируйте изображение и измените размер, чтобы совпадать с входным размером для сети.
X = imread("laika_grass.jpg");
inputSize = net.Layers(1).InputSize(1:2);
X = imresize(X,inputSize);Отобразите изображение. Изображение имеет собаку по имени Лэйка.
imshow(X)
Классифицируйте изображение, чтобы получить метку класса.
label = classify(net,X)
label = categorical
toy poodle
Используйте imageLIME определить, какие части изображения важны для результата классификации.
scoreMap = imageLIME(net,X,label);
Постройте результат по оригинальному изображению с прозрачностью, чтобы видеть, какие области изображения влияют на классификационную оценку.
figure imshow(X) hold on imagesc(scoreMap,'AlphaData',0.5) colormap jet
Сеть фокусируется преимущественно на голове Лэйки и назад принять решение классификации. Глаз и ухо Лэйки также важны для результата классификации.
Используйте imageLIME определить самые важные функции в изображении и изолировать их от неважных функций.
Импортируйте предварительно обученную сеть SqueezeNet.
net = squeezenet;
Импортируйте изображение и измените размер, чтобы совпадать с входным размером для сети.
X = imread("sherlock.jpg");
inputSize = net.Layers(1).InputSize(1:2);
X = imresize(X,inputSize);Классифицируйте изображение, чтобы получить метку класса.
label = classify(net,X)
label = categorical
golden retriever
Вычислите карту важности функции и также получите карту функций и важности функции. Установите метод сегментации изображений на 'grid', количество функций к 64, и количество синтетических изображений к 3072.
[scoreMap,featureMap,featureImportance] = imageLIME(net,X,label,'Segmentation','grid','NumFeatures',64,'NumSamples',3072);
Постройте результат по оригинальному изображению с прозрачностью, чтобы видеть, какие области изображения влияют на классификационную оценку.
figure imshow(X) hold on imagesc(scoreMap,'AlphaData',0.5) colormap jet colorbar
Используйте важность функции, чтобы найти индексы самых важных пяти функций.
numTopFeatures = 5; [~,idx] = maxk(featureImportance,numTopFeatures);
Используйте карту функций, чтобы кашировать изображение поэтому, только самые важные пять функций отображаются. Отобразите изображение маскированное.
mask = ismember(featureMap,idx); maskedImg = uint8(mask).*X; figure imshow(maskedImg);
Используйте imageLIME с пользовательской картой сегментации, чтобы просмотреть самые важные функции решения классификации.
Импортируйте предварительно обученную сеть GoogLeNet.
net = googlenet;
Импортируйте изображение и измените размер, чтобы совпадать с входным размером для сети.
X = imread("sherlock.jpg");
inputSize = net.Layers(1).InputSize(1:2);
X = imresize(X,inputSize);Классифицируйте изображение, чтобы получить метку класса.
label = classify(net,X)
label = categorical
golden retriever
Создайте матрицу, задающую пользовательскую карту сегментации, которая делит изображение на треугольные сегменты. Каждый треугольный сегмент представляет функцию.
Запустите путем определения матрицы с размером, равным входному размеру изображения.
segmentationMap = zeros(inputSize(1));
Затем создайте меньшую карту сегментации, которая делится 56 56 пиксельная область в две треугольных функции. Присвойте значения 1 и 2 к верхним и более низким сегментам, представляя первые и вторые функции, соответственно.
blockSize = 56;
segmentationSubset = ones(blockSize);
segmentationSubset = tril(segmentationSubset) + segmentationSubset;
% Set the diagonal elements to alternate values 1 and 2.
segmentationSubset(1:(blockSize+1):end) = repmat([1 2],1,blockSize/2)';Чтобы создать пользовательскую карту сегментации для целого изображения, повторите маленькую карту сегментации. Каждый раз вы повторяете меньшую карту, увеличиваете значения индекса функции так, чтобы пиксели в каждом треугольном сегменте соответствовали уникальной функции. В конечной матрице значение 1 указывает на первую функцию, значение 2 вторая функция, и так далее для каждого сегмента в изображении.
blocksPerSide = inputSize(1)/blockSize; subset = 0; for i=1:blocksPerSide for j=1:blocksPerSide xidx = (blockSize*(i-1))+1:(blockSize*i); yidx = (blockSize*(j-1))+1:(blockSize*j); segmentationMap(xidx,yidx) = segmentationSubset + 2*subset; subset = subset + 1; end end
Просмотрите карту сегментации. Эта карта делит изображение на 32 треугольных области.
figure imshow(X) hold on imagesc(segmentationMap,'AlphaData',0.8); title('Custom Segmentation Map') colormap gray
Используйте imageLIME с пользовательской картой сегментации, чтобы определить, какие части изображения являются самыми важными для результата классификации.
scoreMap = imageLIME(net,X,label, ... 'Segmentation',segmentationMap);
Постройте результат imageLIME по оригинальному изображению, чтобы видеть, какие области изображения влияют на классификационную оценку.
figure; imshow(X) hold on title('Image LIME (Golden Retriever)') colormap jet; imagesc(scoreMap, "AlphaData", 0.5);
Красные области карты имеют более высокую важность — когда эти области удалены, счет к классу золотистого ретривера понижается. Самой важной функцией этой классификации является ухо.
activations | classify | gradCAM | occlusionSensitivity