Многие нейронные сети, используемые для обработки изображений, имеют архитектуру, которая следует модульному шаблону. Шаблон состоит из модуля кодера, который понижает выборку входного сигнала, за которым следует декодер, который увеличивает выборку данных. Мостовые уровни дополнительно соединяют модули кодера и декодера. Модульный шаблон используется сверточными нейронными сетями (CNN), такими как U-Net, и генераторными и дискриминаторными сетями генераторной состязательной сети (GAN), такими как CycleGAN и PatchGAN.
Для создания модулей кодера и декодера можно:
Создайте сеть кодировщика из предварительно обученной сети, например SqueeEcNet, используя pretrainedEncoderNetwork функция. Функция отсекает предварительно подготовленную сеть таким образом, что кодер включает в себя указанное количество операций понижающей дискретизации.
Создайте модули кодера и декодера из стандартных блоков слоев, которые следуют повторяющемуся шаблону. Чтобы создать модуль, определите функцию, которая задает шаблон, а затем соберите блоки в модуль с помощью blockedNetwork функция.
Модуль кодера состоит из начального блока уровней, блоков понижающей дискретизации и остаточных блоков. Модуль декодера состоит из блоков повышающей дискретизации и конечного блока, который обеспечивает сетевой выход. Таблица описывает блоки уровней, которые обычно содержат модули кодера и декодера.
| Тип блока | Описание |
|---|---|
| Начальный блок |
|
| Блок понижающей дискретизации |
|
| Остаточный блок |
|
| Блок повышающей дискретизации |
|
| Окончательный блок |
|
После установки кодера и модуля декодера можно объединить модули для формирования сети дискриминатора CNN, GAN-генератора или GAN-дискриминатора с помощью encoderDecoderNetwork функция. В конце сети можно дополнительно включить мостовое соединение, пропускать соединения или дополнительные слои.
Можно также создавать популярные генераторные и дискриминаторные сети GAN непосредственно с помощью функций, доступных в Toolbox™ обработки изображений. Эти сети включают CycleGAN, PatchGAN, pix2pixHD и UNIT. Дополнительные сведения см. в разделе Начало работы с GAN для преобразования образа в образ.
blockedNetwork | encoderDecoderNetwork | pretrainedEncoderNetwork