В этом примере показано, как обучить условную порождающую соперничающую сеть (CGAN) генерировать изображения.
Порождающая соперничающая сеть (GAN) является типом нейронной сети для глубокого обучения, которая может сгенерировать данные с подобными характеристиками как входные обучающие данные.
ГАНЬ состоит из двух сетей, которые обучаются вместе:
Генератор —, Учитывая вектор из случайных значений, как введено, эта сеть генерирует данные с той же структурой как обучающие данные.
Различитель — Данный пакеты данных, содержащих наблюдения от обоих обучающие данные и сгенерированные данные из генератора, эта сеть пытается классифицировать наблюдения как "действительные" или "сгенерированные".
Условная порождающая соперничающая сеть является типом GAN, который также использует в своих интересах метки во время учебного процесса.
Генератор - Учитывая метку и случайный массив, как введено, эта сеть генерирует данные с той же структурой как наблюдения обучающих данных, соответствующие той же метке.
Различитель - Данный пакеты маркированных данных, содержащих наблюдения от обоих обучающие данные и сгенерированные данные из генератора, эта сеть пытается классифицировать наблюдения как "действительные" или "сгенерированные".
Чтобы обучить условный GAN, обучите обе сети одновременно, чтобы максимизировать эффективность обоих:
Обучите генератор генерировать данные, которые "дурачат" различитель.
Обучите различитель различать действительные и сгенерированные данные.
Чтобы максимизировать эффективность генератора, максимизируйте потерю различителя, когда дали сгенерированные маркированные данные. Таким образом, цель генератора состоит в том, чтобы сгенерировать маркированные данные, которые различитель классифицирует как "действительные".
Чтобы максимизировать эффективность различителя, минимизируйте потерю различителя когда данный пакеты и действительных и сгенерированных маркированных данных. Таким образом, цель различителя не состоит в том, чтобы "дурачить" генератор.
Идеально, эти стратегии приводят к генератору, который генерирует убедительно реалистические данные, которые соответствуют входным меткам и различителю, который изучил представления сильной черты, которые являются характеристическими для обучающих данных для каждой метки.
Загрузите и извлеките Цветочный набор данных [1].
url = 'http://download.tensorflow.org/example_images/flower_photos.tgz'; downloadFolder = tempdir; filename = fullfile(downloadFolder,'flower_dataset.tgz'); imageFolder = fullfile(downloadFolder,'flower_photos'); if ~exist(imageFolder,'dir') disp('Downloading Flowers data set (218 MB)...') websave(filename,url); untar(filename,downloadFolder) end
Создайте datastore изображений, содержащий фотографии.
datasetFolder = fullfile(imageFolder); imds = imageDatastore(datasetFolder, ... 'IncludeSubfolders',true, ... 'LabelSource','foldernames');
Просмотрите количество классов.
classes = categories(imds.Labels); numClasses = numel(classes)
numClasses = 5
Увеличьте данные, чтобы включать случайное горизонтальное зеркальное отражение и изменить размер изображений, чтобы иметь размер 64 64.
augmenter = imageDataAugmenter('RandXReflection',true); augimds = augmentedImageDatastore([64 64],imds,'DataAugmentation',augmenter);
Задайте следующую 2D входную сеть, которая генерирует изображения, учитывая 1 1 100 массивами случайных значений и соответствующих меток:
Эта сеть:
Преобразует 1 1 100 массивами шума к 4 4 1 024 массивами.
Преобразует категориальные метки во встраивание векторов и изменяет их к массиву 4 на 4.
Конкатенации получившихся изображений от двух входных параметров по измерению канала. Выход является 4 4 1 025 массивами.
Увеличивает масштаб полученные массивы к 64 64 3 массивами с помощью серии транспонированных слоев свертки со слоев ReLU и нормализацией партии.
Задайте эту сетевую архитектуру как график слоев и задайте следующие сетевые свойства.
Для категориальных входных параметров используйте размерность встраивания 50.
Для транспонированных слоев свертки задайте фильтры 5 на 5 с уменьшающимся количеством фильтров для каждого слоя, шага 2 и "той же" обрезки выхода.
Поскольку финал транспонировал слой свертки, задайте три фильтра 5 на 5, соответствующие трем каналам RGB сгенерированных изображений.
В конце сети включайте tanh слой.
Чтобы спроектировать и изменить шумовой вход, используйте пользовательский слой projectAndReshapeLayer, присоединенный к этому примеру как вспомогательный файл. projectAndReshapeLayer объект увеличивает масштаб вход с помощью полностью связанной операции и изменяет выход к заданному размеру.
Чтобы ввести метки в сеть, используйте imageInputLayer возразите и задайте размер изображения 1 на 1. Чтобы встроить и изменить вход метки, используйте пользовательский слой embedAndReshapeLayer, присоединенный к этому примеру как вспомогательный файл. embedAndReshapeLayer объект преобразует категориальную метку в изображение с одним каналом заданного размера с помощью встраивания и полностью связанной операции.
numLatentInputs = 100;
embeddingDimension = 50;
numFilters = 64;
filterSize = 5;
projectionSize = [4 4 1024];
layersGenerator = [
imageInputLayer([1 1 numLatentInputs],'Normalization','none','Name','noise')
projectAndReshapeLayer(projectionSize,numLatentInputs,'proj');
concatenationLayer(3,2,'Name','cat');
transposedConv2dLayer(filterSize,4*numFilters,'Name','tconv1')
batchNormalizationLayer('Name','bn1')
reluLayer('Name','relu1')
transposedConv2dLayer(filterSize,2*numFilters,'Stride',2,'Cropping','same','Name','tconv2')
batchNormalizationLayer('Name','bn2')
reluLayer('Name','relu2')
transposedConv2dLayer(filterSize,numFilters,'Stride',2,'Cropping','same','Name','tconv3')
batchNormalizationLayer('Name','bn3')
reluLayer('Name','relu3')
transposedConv2dLayer(filterSize,3,'Stride',2,'Cropping','same','Name','tconv4')
tanhLayer('Name','tanh')];
lgraphGenerator = layerGraph(layersGenerator);
layers = [
imageInputLayer([1 1],'Name','labels','Normalization','none')
embedAndReshapeLayer(projectionSize(1:2),embeddingDimension,numClasses,'emb')];
lgraphGenerator = addLayers(lgraphGenerator,layers);
lgraphGenerator = connectLayers(lgraphGenerator,'emb','cat/in2');Чтобы обучить сеть с пользовательским учебным циклом и включить автоматическое дифференцирование, преобразуйте график слоев в dlnetwork объект.
dlnetGenerator = dlnetwork(lgraphGenerator)
dlnetGenerator =
dlnetwork with properties:
Layers: [16×1 nnet.cnn.layer.Layer]
Connections: [15×2 table]
Learnables: [19×3 table]
State: [6×3 table]
InputNames: {'noise' 'labels'}
OutputNames: {'tanh'}
Задайте следующую 2D входную сеть, которая классифицирует действительный, и сгенерированный 64 64 отображает, учитывая набор изображений и соответствующих меток.
Создайте сеть, которая берет в качестве входа 64 64 1 изображением и соответствующими метками и выводит скалярный счет предсказания с помощью серии слоев свертки с нормализацией партии. и текучих слоев ReLU. Добавьте шум во входные изображения с помощью уволенного.
Для слоя уволенного задайте вероятность уволенного 0,75.
Для слоев свертки задайте фильтры 5 на 5 с растущим числом фильтров для каждого слоя. Также задайте шаг 2 и к дополнению выхода на каждом ребре.
Для текучих слоев ReLU задайте шкалу 0,2.
Для последнего слоя задайте слой свертки с одним фильтром 4 на 4.
dropoutProb = 0.75;
numFilters = 64;
scale = 0.2;
inputSize = [64 64 3];
filterSize = 5;
layersDiscriminator = [
imageInputLayer(inputSize,'Normalization','none','Name','images')
dropoutLayer(dropoutProb,'Name','dropout')
concatenationLayer(3,2,'Name','cat')
convolution2dLayer(filterSize,numFilters,'Stride',2,'Padding','same','Name','conv1')
leakyReluLayer(scale,'Name','lrelu1')
convolution2dLayer(filterSize,2*numFilters,'Stride',2,'Padding','same','Name','conv2')
batchNormalizationLayer('Name','bn2')
leakyReluLayer(scale,'Name','lrelu2')
convolution2dLayer(filterSize,4*numFilters,'Stride',2,'Padding','same','Name','conv3')
batchNormalizationLayer('Name','bn3')
leakyReluLayer(scale,'Name','lrelu3')
convolution2dLayer(filterSize,8*numFilters,'Stride',2,'Padding','same','Name','conv4')
batchNormalizationLayer('Name','bn4')
leakyReluLayer(scale,'Name','lrelu4')
convolution2dLayer(4,1,'Name','conv5')];
lgraphDiscriminator = layerGraph(layersDiscriminator);
layers = [
imageInputLayer([1 1],'Name','labels','Normalization','none')
embedAndReshapeLayer(inputSize,embeddingDimension,numClasses,'emb')];
lgraphDiscriminator = addLayers(lgraphDiscriminator,layers);
lgraphDiscriminator = connectLayers(lgraphDiscriminator,'emb','cat/in2');Чтобы обучить сеть с пользовательским учебным циклом и включить автоматическое дифференцирование, преобразуйте график слоев в dlnetwork объект.
dlnetDiscriminator = dlnetwork(lgraphDiscriminator)
dlnetDiscriminator =
dlnetwork with properties:
Layers: [17×1 nnet.cnn.layer.Layer]
Connections: [16×2 table]
Learnables: [19×3 table]
State: [6×3 table]
InputNames: {'images' 'labels'}
OutputNames: {'conv5'}
Создайте функциональный modelGradients, перечисленный в разделе Model Gradients Function примера, который берет в качестве входа генератор и сети различителя, мини-пакет входных данных и массив случайных значений, и возвращает градиенты потери относительно настраиваемых параметров в сетях и массиве сгенерированных изображений.
Обучайтесь с мини-пакетным размером 128 в течение 500 эпох.
numEpochs = 500; miniBatchSize = 128; augimds.MiniBatchSize = miniBatchSize;
Задайте опции для оптимизации Адама. Для обеих сетей используйте:
Скорость обучения 0,0002
Фактор затухания градиента 0,5
Градиент в квадрате затухает фактор 0,999
learnRate = 0.0002; gradientDecayFactor = 0.5; squaredGradientDecayFactor = 0.999;
Обучайтесь на графическом процессоре, если вы доступны. Используя графический процессор требует Parallel Computing Toolbox™, и CUDA® включил NVIDIA®, графический процессор с вычисляет возможность 3.0 или выше.
executionEnvironment = "auto";Обновитесь процесс обучения строит каждые 100 итераций.
validationFrequency = 100;
Если различитель учится различать между действительными и сгенерированными изображениями слишком быстро, то генератор может не обучаться. Чтобы лучше сбалансировать приобретение знаний о различителе и генераторе, случайным образом инвертируйте метки пропорции действительных изображений. Задайте зеркально отраженный фактор 0,5.
flipFactor = 0.5;
Обучите модель с помощью пользовательского учебного цикла. Цикл по обучающим данным и обновлению сетевые параметры в каждой итерации. Чтобы контролировать процесс обучения, отобразите пакет сгенерированных изображений с помощью протянутого массива случайных значений, чтобы ввести в генератор и сетевые баллы.
Инициализируйте параметры для оптимизатора Адама.
velocityDiscriminator = []; trailingAvgGenerator = []; trailingAvgSqGenerator = []; trailingAvgDiscriminator = []; trailingAvgSqDiscriminator = [];
Инициализируйте график процесса обучения. Создайте фигуру и измените размер его, чтобы иметь дважды ширину.
f = figure; f.Position(3) = 2*f.Position(3);
Создайте подграфики сгенерированных изображений и графика баллов.
imageAxes = subplot(1,2,1); scoreAxes = subplot(1,2,2);
Инициализируйте анимированные линии для графика баллов.
lineScoreGenerator = animatedline(scoreAxes,'Color',[0 0.447 0.741]); lineScoreDiscriminator = animatedline(scoreAxes, 'Color', [0.85 0.325 0.098]);
Настройте внешний вид графиков.
legend('Generator','Discriminator'); ylim([0 1]) xlabel("Iteration") ylabel("Score") grid on
Чтобы контролировать процесс обучения, создайте протянутый пакет 25 1 1 numLatentInputs массивы случайных значений и соответствующий набор маркируют 1 through 5 (соответствующий классам), повторился 5 раз, где метки находятся в четвертой размерности массива.
numValidationImagesPerClass = 5;
ZValidation = randn(1,1,numLatentInputs,numValidationImagesPerClass*numClasses,'single');
TValidation = single(repmat(1:numClasses,[1 numValidationImagesPerClass]));
TValidation = permute(TValidation,[1 3 4 2]);Преобразуйте данные в dlarray объекты и указывают, что размерность маркирует 'SSCB' (пространственный, пространственный, канал, пакет).
dlZValidation = dlarray(ZValidation, 'SSCB'); dlTValidation = dlarray(TValidation, 'SSCB');
Для обучения графического процессора преобразуйте данные в gpuArray объекты.
if (executionEnvironment == "auto" && canUseGPU) || executionEnvironment == "gpu" dlZValidation = gpuArray(dlZValidation); dlTValidation = gpuArray(dlTValidation); end
Обучите GAN. В течение каждой эпохи переставьте данные и цикл по мини-пакетам данных.
Для каждого мини-пакета:
Чтобы гарантировать, что входные параметры к различителю совпадают с выходными параметрами генератора, перемасштабируйте действительные изображения так, чтобы пиксели приняли значения в области значений [-1, 1].
Преобразуйте данные изображения и метки к dlarray объекты с базовым типом single и укажите, что размерность маркирует 'SSCB' (пространственный, пространственный, канал, пакет).
Сгенерируйте dlarray объект, содержащий массив случайных значений для сети генератора.
Для обучения графического процессора преобразуйте данные в gpuArray объекты.
Оцените градиенты модели с помощью dlfeval и modelGradients функция.
Обновите сетевые параметры с помощью adamupdate функция.
Постройте множество этих двух сетей.
После каждого validationFrequency итерации, отобразитесь, пакет сгенерированных изображений для фиксированного протянул вход генератора.
Обучение может занять время, чтобы запуститься.
iteration = 0; start = tic; % Loop over epochs. for epoch = 1:numEpochs % Reset and shuffle datastore. reset(augimds); augimds = shuffle(augimds); % Loop over mini-batches. while hasdata(augimds) iteration = iteration + 1; % Read mini-batch of data and generate latent inputs for the % generator network. data = read(augimds); % Ignore last partial mini-batch of epoch. if size(data,1) < miniBatchSize continue end X = cat(4,data{:,1}{:}); X = single(X); T = single(data.response); T = permute(T,[2 3 4 1]); Z = randn(1,1,numLatentInputs,miniBatchSize,'single'); % Rescale the images in the range [-1 1]. X = rescale(X,-1,1,'InputMin',0,'InputMax',255); % Convert mini-batch of data to dlarray and specify the dimension labels % 'SSCB' (spatial, spatial, channel, batch). dlX = dlarray(X, 'SSCB'); dlZ = dlarray(Z, 'SSCB'); dlT = dlarray(T, 'SSCB'); % If training on a GPU, then convert data to gpuArray. if (executionEnvironment == "auto" && canUseGPU) || executionEnvironment == "gpu" dlX = gpuArray(dlX); dlZ = gpuArray(dlZ); dlT = gpuArray(dlT); end % Evaluate the model gradients and the generator state using % dlfeval and the modelGradients function listed at the end of the % example. [gradientsGenerator, gradientsDiscriminator, stateGenerator, scoreGenerator, scoreDiscriminator] = ... dlfeval(@modelGradients, dlnetGenerator, dlnetDiscriminator, dlX, dlT, dlZ, flipFactor); dlnetGenerator.State = stateGenerator; % Update the discriminator network parameters. [dlnetDiscriminator,trailingAvgDiscriminator,trailingAvgSqDiscriminator] = ... adamupdate(dlnetDiscriminator, gradientsDiscriminator, ... trailingAvgDiscriminator, trailingAvgSqDiscriminator, iteration, ... learnRate, gradientDecayFactor, squaredGradientDecayFactor); % Update the generator network parameters. [dlnetGenerator,trailingAvgGenerator,trailingAvgSqGenerator] = ... adamupdate(dlnetGenerator, gradientsGenerator, ... trailingAvgGenerator, trailingAvgSqGenerator, iteration, ... learnRate, gradientDecayFactor, squaredGradientDecayFactor); % Every validationFrequency iterations, display batch of generated images using the % held-out generator input. if mod(iteration,validationFrequency) == 0 || iteration == 1 % Generate images using the held-out generator input. dlXGeneratedValidation = predict(dlnetGenerator,dlZValidation,dlTValidation); % Tile and rescale the images in the range [0 1]. I = imtile(extractdata(dlXGeneratedValidation), ... 'GridSize',[numValidationImagesPerClass numClasses]); I = rescale(I); % Display the images. subplot(1,2,1); image(imageAxes,I) xticklabels([]); yticklabels([]); title("Generated Images"); end % Update the scores plot subplot(1,2,2) addpoints(lineScoreGenerator,iteration,... double(gather(extractdata(scoreGenerator)))); addpoints(lineScoreDiscriminator,iteration,... double(gather(extractdata(scoreDiscriminator)))); % Update the title with training progress information. D = duration(0,0,toc(start),'Format','hh:mm:ss'); title(... "Epoch: " + epoch + ", " + ... "Iteration: " + iteration + ", " + ... "Elapsed: " + string(D)) drawnow end end
Здесь, различитель изучил представление сильной черты, которое идентифицирует действительные изображения среди сгенерированных изображений. В свою очередь генератор изучил представление столь же сильной черты, которое позволяет ему генерировать реалистически выглядящие данные. Каждый столбец соответствует единому классу.
Учебный график показывает множество сетей различителя и генератора. Чтобы узнать больше, как интерпретировать сетевые баллы, смотрите Монитор Процесс обучения GAN и Идентифицируйте Общие Типы отказа.
Чтобы сгенерировать новые изображения конкретного класса, используйте predict функция на генераторе с dlarray объект, содержащий пакет 1 1 numLatentInputs массивы случайных значений и массив меток, соответствующих желаемым классам. Преобразуйте данные в dlarray объекты и указывают, что размерность маркирует 'SSCB' (пространственный, пространственный, канал, пакет). Для предсказания графического процессора преобразуйте данные в gpuArray. Чтобы отобразить изображения вместе, используйте imtile функционируйте и перемасштабируйте изображения с помощью rescale функция.
Создайте массив 36 векторов из случайных значений, соответствующих первому классу.
numObservationsNew = 36;
idxClass = 1;
Z = randn(1,1,numLatentInputs,numObservationsNew,'single');
T = repmat(single(idxClass),[1 1 1 numObservationsNew]);Преобразуйте данные в dlarray объекты с размерностью маркируют 'SSCB' (пространственный, пространственный, каналы, пакет).
dlZ = dlarray(Z,'SSCB'); dlT = dlarray(T,'SSCB');
Чтобы сгенерировать изображения с помощью графического процессора, также преобразуйте данные в gpuArray объекты.
if (executionEnvironment == "auto" && canUseGPU) || executionEnvironment == "gpu" dlZ = gpuArray(dlZ); dlT = gpuArray(dlT); end
Сгенерируйте изображения с помощью predict функция с сетью генератора.
dlXGenerated = predict(dlnetGenerator,dlZ,dlT);
Отобразите сгенерированные изображения в графике.
figure
I = imtile(extractdata(dlXGenerated));
I = rescale(I);
imshow(I)
title("Class: " + classes(idxClass))
Здесь, сеть генератора генерирует изображения, обусловленные на заданном классе.
Функциональный modelGradients берет в качестве входа генератор и различитель dlnetwork объекты dlnetGenerator и dlnetDiscriminator, мини-пакет входных данных dlX, соответствие маркирует dlT, и массив случайных значений dlZ, и возвращает градиенты потери относительно настраиваемых параметров в сетях, состоянии генератора и сетевых баллах.
Если различитель учится различать между действительными и сгенерированными изображениями слишком быстро, то генератор может не обучаться. Чтобы лучше сбалансировать приобретение знаний о различителе и генераторе, случайным образом инвертируйте метки пропорции действительных изображений.
function [gradientsGenerator, gradientsDiscriminator, stateGenerator, scoreGenerator, scoreDiscriminator] = ... modelGradients(dlnetGenerator, dlnetDiscriminator, dlX, dlT, dlZ, flipFactor) % Calculate the predictions for real data with the discriminator network. dlYPred = forward(dlnetDiscriminator, dlX, dlT); % Calculate the predictions for generated data with the discriminator network. [dlXGenerated,stateGenerator] = forward(dlnetGenerator, dlZ, dlT); dlYPredGenerated = forward(dlnetDiscriminator, dlXGenerated, dlT); % Calculate probabilities. probGenerated = sigmoid(dlYPredGenerated); probReal = sigmoid(dlYPred); % Calculate the generator and discriminator scores scoreGenerator = mean(probGenerated); scoreDiscriminator = (mean(probReal) + mean(1-probGenerated)) / 2; % Flip labels. numObservations = size(dlYPred,4); idx = randperm(numObservations,floor(flipFactor * numObservations)); probReal(:,:,:,idx) = 1 - probReal(:,:,:,idx); % Calculate the GAN loss. [lossGenerator, lossDiscriminator] = ganLoss(probReal, probGenerated); % For each network, calculate the gradients with respect to the loss. gradientsGenerator = dlgradient(lossGenerator, dlnetGenerator.Learnables,'RetainData',true); gradientsDiscriminator = dlgradient(lossDiscriminator, dlnetDiscriminator.Learnables); end
Цель генератора состоит в том, чтобы сгенерировать данные, которые различитель классифицирует как "действительные". Чтобы максимизировать вероятность, что изображения от генератора классифицируются как действительные различителем, минимизируйте отрицательную логарифмическую функцию правдоподобия.
Учитывая выход из различителя:
вероятность, что входное изображение принадлежит классу "действительный".
вероятность, что входное изображение принадлежит классу "сгенерированный".
Обратите внимание на то, что сигмоидальная операция в modelGradients функция. Функцией потерь для генератора дают
где содержит различитель выходные вероятности для сгенерированных изображений.
Цель различителя не состоит в том, чтобы "дурачить" генератор. Чтобы максимизировать вероятность, что различитель успешно различает между действительными и сгенерированными изображениями, минимизируйте сумму соответствующих отрицательных логарифмических функций правдоподобия. Функцией потерь для различителя дают
где содержит различитель выходные вероятности для действительных изображений.
function [lossGenerator, lossDiscriminator] = ganLoss(scoresReal,scoresGenerated) % Calculate losses for the discriminator network. lossGenerated = -mean(log(1 - scoresGenerated)); lossReal = -mean(log(scoresReal)); % Combine the losses for the discriminator network. lossDiscriminator = lossReal + lossGenerated; % Calculate the loss for the generator network. lossGenerator = -mean(log(scoresGenerated)); end
Команда TensorFlow. Цветы http://download.tensorflow.org/example_images/flower_photos.tgz
adamupdate | dlarray | dlfeval | dlgradient | dlnetwork | forward | predict