Объясните сетевые предсказания с помощью Grad-CAM
scoreMap = gradCAM(net,X,label)X, когда сеть net оценивает счет класса для класса, заданную как label. Используйте эту функцию для объяснения сетевых предсказаний и проверки того, что ваша сеть фокусируется на правых частях изображения.
Метод интерпретации Grad-CAM использует градиенты классификационной оценки относительно окончательной сверточной карты функций. Части изображения с большим значением для карты Grad-CAM являются теми, которые больше всего влияют на счет сети для этого класса.
Используйте этот синтаксис для вычисления карты Grad-CAM для задач классификации изображений или пикселей.
scoreMap = gradCAM(net,X,reductionFcn)reductionFcn является указателем на функцию, который уменьшает выходные активации восстановительного слоя до скалярного значения. Этот скаляр выполняет роль счета класса для задач классификации и обобщает метод Grad-CAM для неклассификационных задач, таких как регрессия.
gradCAM функция вычисляет карту Grad-CAM путем дифференцирования уменьшенного выхода слоя сокращения относительно функций в слое признаков. gradCAM автоматически выбирает слои сокращений и функций, которые будут использоваться при вычислении карты. Чтобы задать эти слои, используйте 'ReductionLayer' и 'FeatureLayer' аргументы имя-значение.
Используйте этот синтаксис для вычисления карты Grad-CAM для задач неклассификации.
[ также возвращает имена слоя функции и слоя сокращения, используемые для вычисления карты Grad-CAM. Используйте этот синтаксис с любыми комбинациями входных аргументов в предыдущих синтаксисах. scoreMap,featureLayer,reductionLayer] = gradCAM(___)
___ = gradCAM(___, задает опции, использующие один или несколько аргументов имя-значение в дополнение к входным параметрам в предыдущих синтаксисах. Для примера, Name,Value)'ReductionLayer','prob' устанавливает слой редукции в net слой с именем 'prob'.
Использование gradCAM визуализировать, какие части изображения важны для решения о классификации сети.
Импортируйте предварительно обученную сеть SqueezeNet.
net = squeezenet;
Импортируйте изображение и измените его размер, чтобы соответствовать размеру входа для сети.
X = imread("laika_grass.jpg");
inputSize = net.Layers(1).InputSize(1:2);
X = imresize(X,inputSize);Отобразите изображение.
imshow(X)
Классифицируйте изображение, чтобы получить метку класса.
label = classify(net,X)
label = categorical
toy poodle
Использование gradCAM определить, какие части изображения важны для результата классификации.
scoreMap = gradCAM(net,X,label);
Постройте график результата по оригинальному изображению с прозрачностью, чтобы увидеть, какие области изображения вносят наибольший вклад в классификационную оценку.
figure imshow(X) hold on imagesc(scoreMap,'AlphaData',0.5) colormap jet
Сеть фокусируется преимущественно на спине собаки, чтобы принять решение о классификации.
Используйте Grad-CAM, чтобы визуализировать, какие части изображения наиболее важны для предсказаний сети регрессии изображений.
Загрузите выборочные данные, который состоит из синтетических изображений рукописных цифр. Третий выход содержит соответствующие углы поворота цифр, в степенях.
rng default
[XTrain,~,YTrain] = digitTrain4DArrayData;
[XTest,~,YTest] = digitTest4DArrayData;
numTrainImages = numel(YTrain);
idx = randperm(numTrainImages,20);Создайте сеть регрессии изображений, которая может предсказать поворот изображения.
layers = [ ... imageInputLayer([28 28 1],'Name','input') convolution2dLayer(12,25,'Name','conv') reluLayer('Name','relu') fullyConnectedLayer(1,'Name','fc') regressionLayer('Name','output')];
Задайте опции обучения.
options = trainingOptions('sgdm', ... 'InitialLearnRate',0.001, ... 'Verbose',false, ... 'Plots','training-progress');
Обучите сеть.
net = trainNetwork(XTrain,YTrain,layers,options);
Оцените эффективность сети на тестовом изображении.
testDigit = XTest(:,:,:,idx(4));
Использование predict чтобы предсказать угол поворота и сравнить предсказанное вращение с истинным вращением.
predRotation = predict(net,testDigit)
predRotation = single
-47.5497
trueRotation = YTest(idx(4))
trueRotation = -40
Визуализируйте области изображения, наиболее важные для предсказания, используя gradCAM. Выберите слой ReLU в качестве слоя функции, а полностью соединенный слой в качестве слоя восстановления.
featureLayer = 'relu'; reductionLayer = 'fc';
Определите функцию сокращения. Функция сокращения должна уменьшить выход восстановительного слоя до скалярного значения. Карта Grad-CAM отображает важность различных частей изображения для этого скаляра. В этой регрессионной задаче сеть предсказывает угол поворота изображения. Поэтому выход полносвязного слоя уже является скалярным значением, и поэтому функция редукции является просто тождества функцией.
reductionFcn = @(x)x;
Вычислите карту Grad-CAM.
scoreMap = gradCAM(net,testDigit,reductionFcn, ... 'ReductionLayer',reductionLayer, ... 'FeatureLayer',featureLayer);
Отобразите карту Grad-CAM над тестовым изображением.
ax(1) = subplot(1,2,1); imshow(testDigit) title("True Rotation = " + trueRotation + '\newline Pred Rotation = ' + round(predRotation,0)) colormap(ax(1),'gray') ax(2) = subplot(1,2,2); imshow(testDigit) hold on imagesc(scoreMap) colormap(ax(2),'jet') title("GradCAM") hold off
Карта Grad-CAM показывает, что сеть фокусируется на области внизу слева, где был бы конец цифры, если бы изображение имело нулевой поворот. Карта предполагает, что для предсказания отрицательного поворота сеть использует пустое пространство.
The reductionFcn функция получает выход от восстановительного слоя как трассированный dlarray объект. Функция должна уменьшить этот выход до скалярного dlarray, который gradCAM затем дифференцируется относительно активации слоя функции. Для примера, чтобы вычислить карту Grad-CAM для канала 208 активаций softmax сети, функция сокращения @(x)(x(208)). Эта функция получает активации и извлекает 208-й канал.
gradCAM функция автоматически выбирает сокращение и слои признаков, которые будут использоваться при вычислении карты Grad-CAM. Для некоторых сетей выбранные слои могут оказаться неподходящими. Например, если ваша сеть имеет несколько слоев, которые могут использоваться в качестве слоя признаков, то функция выбирает один из этих слоев, но ее выбор может оказаться не самым подходящим. Для таких сетей задайте, какой слой функции использовать, используя 'FeatureLayer' аргумент имя-значение.
[1] Selvaraju, Ramprasaath R., Michael Cogswell, Abhishek Das, Ramakrishna Vedantam, Devi Parikh и Dhruv Batra. «Grad-CAM: визуальные объяснения из глубоких сетей через локализацию на основе градиентов». 2017 (октябрь 2017): 618-626, https://doi.org/10.1109/ICCV.2017.74.
[2] Виноградова, Кира, Александр Дибров и Джин Майерс. «К интерпретации семантической сегментации через отображение активации класса с учетом градиента». Материалы Конференции AAAI по искусственному интеллекту 34, № 10 (апрель 2020): 13943-13944, https://doi.org/10.1609/aaai.v34i10.7244.