Экспериментируйте с инициализаторами веса для передачи обучения
В этом примере показано, как сконфигурировать эксперимент, который инициализирует веса свертки и полносвязных слоев с помощью различных инициализаторов веса в обучении. Чтобы сравнить производительность различных инициализаторов веса для вашей задачи, создайте эксперимент с помощью этого примера в качестве руководства.
Когда обучение, нейронная сеть для глубокого обучения, инициализация весов слоя и смещения могут оказать большое влияние на то, как хорошо сеть обучается. Выбор инициализатора оказывает большее влияние на сети без слоев нормализации партии. Для получения дополнительной информации об инициализаторах веса смотрите, Сравнивают Инициализаторы Веса Слоя.
Открытый эксперимент
Во-первых, откройте пример. Experiment Manager загружает проект с предварительно сконфигурированным экспериментом, который можно смотреть и запустить. Чтобы открыть эксперимент, в Браузере Эксперимента, дважды кликают имя эксперимента (WeightInitializerExperiment).
Определение эксперимента состоит из описания, гипертаблицы параметров, функции настройки, и (опционально) набора метрических функций, чтобы оценить результаты эксперимента. Для получения дополнительной информации смотрите, Конфигурируют Эксперимент Глубокого обучения.
Поле Description содержит текстовое описание эксперимента. В данном примере описание:
Perform transfer learning by initializing the weights of convolution and fully connected layers in a pretrained network.
Гипертаблица параметров содержит имена и значения гиперпараметров, используемых в эксперименте. Когда вы запускаете эксперимент, развертки Experiment Manager через гиперзначения параметров, и обучает сеть многократно. Каждое испытание использует различную комбинацию гиперзначений параметров, заданных в таблице. Этот пример использует гиперпараметры WeightsInitializer и BiasInitializer задавать инициализаторы веса для свертки и полносвязных слоев в предварительно обученной сети.
Функция Setup конфигурирует обучающие данные, сетевую архитектуру и опции обучения для эксперимента. Чтобы смотреть функцию настройки, под Функцией Setup, нажимают Edit. Функция настройки открывается в редакторе MATLAB. В этом примере, функции настройки:
Загрузки и извлечения Цветочный набор данных, который составляет приблизительно 218 Мбайт. Для получения дополнительной информации об этом наборе данных смотрите Наборы Данных изображения.
Загружает предварительно обученную сеть GoogLeNet и инициализирует входной вес в свертке и полносвязных слоях при помощи инициализаторов, заданных в гипертаблице параметров. Вспомогательный функциональный
findLayersToReplaceопределяет, какие слои в сетевой архитектуре могут быть изменены для передачи обучения.Задает
trainingOptions
Раздел Metrics задает дополнительные функции, которые оценивают результаты эксперимента. Этот пример не включает метрических функций.
Запустите эксперимент
Во вкладке Experiment Manager нажмите Run. Experiment Manager обучает сеть, заданную функцией настройки многократно. Каждое испытание использует различную комбинацию гиперпараметров. Таблица результатов показывает точность и потерю для каждого испытания.
В то время как эксперимент запускается, нажмите Training Plot, чтобы отобразить учебный график и отследить прогресс каждого испытания.
Нажмите Confusion Matrix, чтобы отобразить матрицу беспорядка для данных о валидации в каждом завершенном испытании.
Когда эксперимент заканчивается, можно отсортировать таблицу результатов по столбцу или отфильтровать испытания при помощи панели Фильтров. Для получения дополнительной информации смотрите сортировку и Результаты Эксперимента Фильтра.
Чтобы проверить производительность отдельного испытания, экспортируйте обучивший сеть или учебную информацию для испытания. На вкладке Experiment Manager выберите Export> Trained Network или Export> Training Information, соответственно. Для получения дополнительной информации см. Выходные аргументы.
Закройте эксперимент
В Браузере Эксперимента щелкните правой кнопкой по имени проекта и выберите Close Project. Experiment Manager сохраняет ваши результаты и закрывает все эксперименты, содержавшиеся в проекте.
Смотрите также
Experiment Manager | trainNetwork | trainingOptions