Сверточные нейронные сети (ConvNets) являются широко используемыми инструментами для глубокого обучения. Они особенно подходят для изображений в качестве входных данных, хотя также используются для других приложений, таких как текст, сигналы и другие непрерывные ответы. Они отличаются от других типов нейронных сетей несколькими способами:
Сверточные нейронные сети вдохновлены биологической структурой зрительной коры, которая содержит структуры простых и сложных клеток [1]. Обнаружено, что эти клетки активируются на основе субрегионов поля зрения. Эти субрегионы называются восприимчивыми полями. Вдохновленные результатами этого исследования, нейроны в сверточном слое соединяются с субрегионами слоев перед этим слоем вместо того, чтобы быть полностью соединенными, как в других типах нейронных сетей. Нейроны не реагируют на области за пределами этих субрегионов на изображении.
Эти субрегионы могут перекрываться, следовательно, нейроны ConvNet производят пространственно коррелированные результаты, тогда как в других типах нейронных сетей нейроны не имеют общих связей и производят независимые результаты.
Кроме того, в нейронной сети с полностью связанными нейронами количество параметров (весов) может быстро увеличиваться по мере увеличения размера входа. Сверточная нейронная сеть уменьшает количество параметров с уменьшенным количеством соединений, совместно используемых весов и понижающей дискретизацией.
ConvNet состоит из нескольких слоев, таких как сверточные слои, слои максимального или среднего пула, и полностью соединенных слоев.
Нейроны в каждом слое ConvNet расположены 3-D образом, преобразуя 3-D вход в 3-D выход. Например, для ввода изображения первый слой (входной слой) содержит изображения в качестве 3-D вводов, причем размеры являются высотой, шириной и цветовыми каналами изображения. Нейроны в первом сверточном слое соединяются с областями этих изображений и преобразуют их в 3-D выход. Скрытые единицы (нейроны) в каждом слое изучают нелинейные комбинации исходных входных данных, что называется извлечением признаков [2]. Эти изученные функции, также известные как активации, из одного уровня становятся входами для следующего уровня. Наконец, полученные признаки становятся входами в классификатор или функцию регрессии в конце сети.
Архитектура ConvNet может варьироваться в зависимости от типов и количества включенных слоев. Типы и количество включенных уровней зависят от конкретного приложения или данных. Например, при наличии категориальных ответов необходимо иметь классификационную функцию и классификационный уровень, тогда как при непрерывном ответе в конце сети должен быть уровень регрессии. Меньшая сеть только с одним или двумя сверточными слоями может быть достаточной для изучения небольшого количества данных изображения серой шкалы. С другой стороны, для более сложных данных с миллионами цветных изображений может потребоваться более сложная сеть с несколькими сверточными и полностью соединенными слоями.
Слои сверточной нейронной сети в MATLAB ® можно объединить следующим образом:
layers = [imageInputLayer([28 28 1])
convolution2dLayer(5,20)
reluLayer
maxPooling2dLayer(2,'Stride',2)
fullyConnectedLayer(10)
softmaxLayer
classificationLayer];После определения уровней сети необходимо указать параметры обучения с помощью trainingOptions функция. Например,
options = trainingOptions('sgdm');Затем можно обучить сеть с использованием данных обучения с помощью trainNetwork функция. Данные, уровни и варианты обучения становятся входными данными для функции обучения. Например,
convnet = trainNetwork(data,layers,options);
Подробное описание слоев ConvNet см. в разделе Определение слоев сверточной нейронной сети. Для настройки параметров обучения см. раздел Настройка параметров и сверточная нейронная сеть поезда.
[1] Хубель, Х. Д. и Визель, Т. Н. «Рецептивные поля одиночных нейронов в полосатой коре кошки». Журнал физиологии. Том 148, стр. 574-591, 1959.
[2] Мерфи, К. П. Машинное обучение: вероятностная перспектива. Кембридж, Массачусетс: MIT Press, 2012.
trainingOptions | trainNetwork