Разработка и проведение экспериментов для обучения и сравнения сетей глубокого обучения
Приложение Experiment Manager позволяет создавать эксперименты глубокого обучения для обучения сетей в различных начальных условиях и сравнения результатов. Например, можно использовать эксперименты глубокого обучения для:
Протяните диапазон значений гиперпараметров или используйте байесовскую оптимизацию, чтобы найти оптимальные варианты обучения. Байесовская оптимизация требует Toolbox™ статистики и машинного обучения.
Использовать встроенную функцию trainNetwork или определите собственную пользовательскую функцию обучения.
Сравните результаты использования различных наборов данных или протестируйте различные архитектуры глубоких сетей.
Чтобы быстро настроить эксперимент, можно начать с предварительно настроенного шаблона. Шаблоны эксперимента поддерживают рабочие процессы, которые включают классификацию изображений, регрессию изображений, классификацию последовательностей, семантическую сегментацию и настраиваемые обучающие циклы.
Диспетчер экспериментов предоставляет инструменты визуализации, такие как обучающие графики и матрицы путаницы, фильтры для уточнения результатов экспериментов и аннотации для записи наблюдений. Чтобы улучшить воспроизводимость, каждый раз при выполнении эксперимента Диспетчер экспериментов сохраняет копию определения эксперимента. Для отслеживания комбинаций гиперпараметров, которые дают каждый результат, можно получить доступ к описаниям прошлых экспериментов.
Experiment Manager организует эксперименты и приводит к проекту.
В одном проекте можно хранить несколько экспериментов.
Каждый эксперимент содержит набор результатов для каждого времени выполнения эксперимента.
Каждый набор результатов состоит из одного или нескольких испытаний, соответствующих различной комбинации гиперпараметров.
По умолчанию Experiment Manager запускает по одной пробной версии. При наличии Toolbox™ Parallel Computing можно настроить эксперимент на одновременное выполнение нескольких испытаний. Параллельное выполнение эксперимента позволяет использовать MATLAB ® во время обучения. Дополнительные сведения см. в разделе Использование диспетчера экспериментов для параллельного обучения сетей.
На панели «Обозреватель экспериментов» отображается иерархия экспериментов и результатов в проекте. Например, этот проект имеет два эксперимента, каждый из которых имеет несколько наборов результатов.
Синяя колба
указывает на встроенный тренировочный эксперимент, в котором используется trainNetwork функция. Зеленый стакан
указывает на пользовательский тренировочный эксперимент, который основан на другой тренировочной функции. Чтобы открыть конфигурацию эксперимента и просмотреть его результаты, дважды щелкните имя эксперимента или набор результатов.
MATLAB Toolstrip: На вкладке Приложения в разделе Машинное обучение и Глубокое обучение щелкните значок приложения.
командная строка MATLAB: Enter experimentManager.
В этом примере показано, как использовать шаблон эксперимента для классификации изображений по гиперпараметрам подметки. С помощью этого шаблона можно быстро настроить встроенный учебный эксперимент, в котором используется trainNetwork функция. Дополнительные примеры решения проблем классификации изображений с помощью Диспетчера экспериментов см. в разделах Создание эксперимента глубокого обучения для классификации и Использование Диспетчера экспериментов для параллельного обучения сетей. Дополнительные сведения об альтернативной стратегии управления гиперпараметрами см. в разделе Настройка гиперпараметров эксперимента с помощью байесовской оптимизации.
Откройте пример, чтобы загрузить проект с предварительно настроенным экспериментом, который можно проверить и выполнить. Чтобы открыть эксперимент, в панели «Обозреватель экспериментов» дважды щелкните имя эксперимента (Experiment1).
Кроме того, можно настроить эксперимент самостоятельно, выполнив следующие действия.
1. Откройте Диспетчер экспериментов. Диалоговое окно содержит ссылки на учебные пособия по началу работы и последние проекты, а также кнопки для создания нового проекта или открытия примера из документации.
2. В группе «Создать» выберите «Проект». В диалоговом окне перечислены несколько шаблонов, поддерживающих рабочие процессы, включая классификацию изображений, регрессию изображений, классификацию последовательностей, семантическую сегментацию и настраиваемые циклы обучения.
3. В разделе Эксперименты с классификацией изображений (Image Classification Experiments) выберите пункт Классификация изображений (Image Classification by Sweeding Hyperparameters).
4. Укажите имя и расположение нового проекта. Experiment Manager открывает новый эксперимент в проекте. Панель Эксперимент (Experiment) отображает описание, гиперпараметры, функцию настройки и метрики, определяющие эксперимент.
5. В поле Описание введите описание эксперимента:
Classification of digits, using various initial learning rates.
6. В разделе Гиперпараметры (Hyperparameters) замените значение myInitialLearnRate с 0.0025:0.0025:0.015. Убедитесь, что для параметра «Стратегия» установлено значение Exhaustive Sweep.
7. В разделе Функция настройки (Setup Function) щелкните Изменить (Edit). Функция настройки открывается в редакторе MATLAB. Функция настройки определяет данные обучения, архитектуру сети и варианты обучения для эксперимента. В этом эксперименте функция настройки имеет три раздела.
Load Training Data определяет хранилища данных изображений, содержащие данные обучения и проверки для эксперимента. В эксперименте используется набор данных Digits, который состоит из 10000 изображений в градациях серого 28 на 28 пикселей цифр от 0 до 9, классифицируемых по цифре, которую они представляют. Дополнительные сведения об этом наборе данных см. в разделе Наборы данных изображений.
Define Network Architecture определяет архитектуру простой сверточной нейронной сети для классификации глубокого обучения.
Задание параметров обучения определяет trainingOptionsmyInitialLearnRate в таблице гиперпараметров.
При выполнении эксперимента Диспетчер экспериментов обучает сеть, определенную функцией настройки, шесть раз. В каждом испытании используется один из показателей обучения, указанных в таблице гиперпараметров. По умолчанию Experiment Manager запускает по одной пробной версии. При наличии панели инструментов Parallel Computing Toolbox можно выполнять несколько пробных версий одновременно. Чтобы получить наилучшие результаты, перед запуском эксперимента запустите параллельный пул с таким количеством работников, как GPU. Дополнительные сведения см. в разделе Использование диспетчера экспериментов для обучения сетей параллельной поддержке и поддержке графического процессора по выпуску (панель инструментов параллельных вычислений).
Чтобы запустить одну пробную версию эксперимента за один раз, на панели инструментов Диспетчера экспериментов нажмите кнопку Выполнить.
Чтобы запустить несколько пробных версий одновременно, щелкните Использовать параллельное, а затем Выполнить. Если текущий параллельный пул отсутствует, диспетчер экспериментов запускает его с использованием профиля кластера по умолчанию. Затем Experiment Manager выполняет несколько одновременных испытаний в зависимости от количества доступных параллельных работников.
Таблица результатов показывает точность и потери для каждого испытания.
Во время выполнения эксперимента щелкните Обучающий график (Training Plot), чтобы отобразить обучающий график и отслеживать ход выполнения каждого испытания. Можно также контролировать ход обучения в окне команд MATLAB.
Щелкните Матрица путаницы, чтобы отобразить матрицу путаницы для данных проверки в каждом завершенном испытании.
По завершении эксперимента можно отсортировать таблицу по столбцам или тестам фильтров с помощью панели Фильтры (Filters). Можно также записать наблюдения, добавив аннотации в таблицу результатов. Дополнительные сведения см. в разделе Сортировка, фильтрация и аннотирование результатов эксперимента.
Чтобы проверить производительность отдельного испытания, экспортируйте обученную сеть или обучающую информацию для испытания. На панели инструментов Диспетчера экспериментов выберите «Экспорт» > «Обученная сеть» или «Экспорт» > «Учебная информация» соответственно. Дополнительные сведения см. в разделе net и info.
Чтобы закрыть эксперимент, на панели «Обозреватель экспериментов» щелкните правой кнопкой мыши имя проекта и выберите «Закрыть проект». Менеджер экспериментов закрывает все эксперименты и результаты, содержащиеся в проекте.
В этом примере показано, как использовать шаблон эксперимента для регрессии изображения с помощью гиперпараметров сдвига. С помощью этого шаблона можно быстро настроить встроенный учебный эксперимент, в котором используется trainNetwork функция. Другой пример решения проблемы регрессии с помощью Диспетчера экспериментов см. в разделе Создание эксперимента глубокого обучения для регрессии. Дополнительные сведения об альтернативной стратегии управления гиперпараметрами см. в разделе Настройка гиперпараметров эксперимента с помощью байесовской оптимизации.
Откройте пример, чтобы загрузить проект с предварительно настроенным экспериментом, который можно проверить и выполнить. Чтобы открыть эксперимент, в панели «Обозреватель экспериментов» дважды щелкните имя эксперимента (Experiment1).
Кроме того, можно настроить эксперимент самостоятельно, выполнив следующие действия.
1. Откройте Диспетчер экспериментов. Диалоговое окно содержит ссылки на учебные пособия по началу работы и последние проекты, а также кнопки для создания нового проекта или открытия примера из документации.
2. В группе «Создать» выберите «Проект». В диалоговом окне перечислены несколько шаблонов, поддерживающих рабочие процессы, включая классификацию изображений, регрессию изображений, классификацию последовательностей, семантическую сегментацию и настраиваемые циклы обучения.
3. В разделе Эксперименты с регрессией изображения (Image Regression Experiments) выберите Регрессия изображения (Image Regression by Sweeding Hyperparameters).
4. Укажите имя и расположение нового проекта. Experiment Manager открывает новый эксперимент в проекте. Панель Эксперимент (Experiment) отображает описание, гиперпараметры, функцию настройки и метрики, определяющие эксперимент.
5. В поле Описание введите описание эксперимента:
Regression to predict angles of rotation of digits, using various initial learning rates.
6. В разделе Гиперпараметры (Hyperparameters) замените значение myInitialLearnRate с 0.001:0.001:0.006. Убедитесь, что для параметра «Стратегия» установлено значение Exhaustive Sweep.
7. В разделе Функция настройки (Setup Function) щелкните Изменить (Edit). Функция настройки открывается в редакторе MATLAB. Функция настройки определяет данные обучения, архитектуру сети и варианты обучения для эксперимента. В этом эксперименте функция настройки имеет три раздела.
Load Training Data определяет данные обучения и проверки для эксперимента как массивы 4-D. Обучающие и проверочные данные состоят из 5000 изображений из набора данных Digits. На каждом изображении отображается цифра от 0 до 9, повернутая на определенный угол. Значения регрессии соответствуют углам поворота. Дополнительные сведения об этом наборе данных см. в разделе Наборы данных изображений.
Define Network Architecture определяет архитектуру простой сверточной нейронной сети для глубокой регрессии обучения.
Задание параметров обучения определяет trainingOptionsmyInitialLearnRate в таблице гиперпараметров.
При выполнении эксперимента Диспетчер экспериментов обучает сеть, определенную функцией настройки, шесть раз. В каждом испытании используется один из показателей обучения, указанных в таблице гиперпараметров. По умолчанию Experiment Manager запускает по одной пробной версии. При наличии панели инструментов Parallel Computing Toolbox можно выполнять несколько пробных версий одновременно. Чтобы получить наилучшие результаты, перед запуском эксперимента запустите параллельный пул с таким количеством работников, как GPU. Дополнительные сведения см. в разделе Использование диспетчера экспериментов для обучения сетей параллельной поддержке и поддержке графического процессора по выпуску (панель инструментов параллельных вычислений).
Чтобы запустить одну пробную версию эксперимента за один раз, на панели инструментов Диспетчера экспериментов нажмите кнопку Выполнить.
Чтобы запустить несколько пробных версий одновременно, щелкните Использовать параллельное, а затем Выполнить. Если текущий параллельный пул отсутствует, диспетчер экспериментов запускает его с использованием профиля кластера по умолчанию. Затем Experiment Manager выполняет несколько одновременных испытаний в зависимости от количества доступных параллельных работников.
Таблица результатов показывает среднеквадратичную ошибку (RMSE) и потери для каждого испытания.
Во время выполнения эксперимента щелкните Обучающий график (Training Plot), чтобы отобразить обучающий график и отслеживать ход выполнения каждого испытания. Можно также контролировать ход обучения в окне команд MATLAB.
По завершении эксперимента можно отсортировать таблицу по столбцам или тестам фильтров с помощью панели Фильтры (Filters). Можно также записать наблюдения, добавив аннотации в таблицу результатов. Дополнительные сведения см. в разделе Сортировка, фильтрация и аннотирование результатов эксперимента.
Чтобы проверить производительность отдельного испытания, экспортируйте обученную сеть или обучающую информацию для испытания. На панели инструментов Диспетчера экспериментов выберите «Экспорт» > «Обученная сеть» или «Экспорт» > «Учебная информация» соответственно. Дополнительные сведения см. в разделе net и info.
Чтобы закрыть эксперимент, на панели «Обозреватель экспериментов» щелкните правой кнопкой мыши имя проекта и выберите «Закрыть проект». Менеджер экспериментов закрывает все эксперименты и результаты, содержащиеся в проекте.
В этом примере показано, как использовать шаблон обучающего эксперимента для классификации изображений с использованием пользовательского обучающего цикла. С помощью этого шаблона можно быстро настроить пользовательский тренировочный эксперимент.
Откройте пример, чтобы загрузить проект с предварительно настроенным экспериментом, который можно проверить и выполнить. Чтобы открыть эксперимент, в панели «Обозреватель экспериментов» дважды щелкните имя эксперимента (Experiment1).
Кроме того, можно настроить эксперимент самостоятельно, выполнив следующие действия.
1. Откройте Диспетчер экспериментов. Диалоговое окно содержит ссылки на учебные пособия по началу работы и последние проекты, а также кнопки для создания нового проекта или открытия примера из документации.
2. В группе «Создать» выберите «Проект». В диалоговом окне перечислены несколько шаблонов, поддерживающих рабочие процессы, включая классификацию изображений, регрессию изображений, классификацию последовательностей, семантическую сегментацию и настраиваемые циклы обучения.
3. В разделе «Эксперименты по классификации изображений» выберите «Классификация изображений с использованием пользовательского обучающего цикла».
4. Выберите расположение и имя нового проекта. Experiment Manager открывает новый эксперимент в проекте. Панель Эксперимент (Experiment) отображает описание, гиперпараметры и обучающую функцию, определяющие эксперимент.
3. В поле Описание введите описание эксперимента:
Classification of digits, using various initial learning rates.
4. В разделе Гиперпараметры (Hyperparameters) замените значение myInitialLearnRate с 0.0025:0.0025:0.015.
5. В разделе Функция обучения щелкните Изменить. Функция обучения открывается в редакторе MATLAB. Функция обучения определяет данные обучения, архитектуру сети, варианты обучения и процедуру обучения, используемые в эксперименте. В этом эксперименте тренировочная функция имеет четыре раздела.
Load Training Data определяет учебные данные для эксперимента как массивы 4-D. В эксперименте используется набор данных Digits, который состоит из 5000 изображений в градациях серого размером 28 на 28 пикселей цифр от 0 до 9, сгруппированных по цифре, которую они представляют. Дополнительные сведения об этом наборе данных см. в разделе Наборы данных изображений.
Define Network Architecture определяет архитектуру простой сверточной нейронной сети для классификации глубокого обучения. Для обучения сети с помощью пользовательского цикла обучения функция обучения представляет сеть как dlnetwork объект.
Задание параметров обучения определяет параметры обучения, используемые в эксперименте. В этом эксперименте обучающая функция загружает значения начальной скорости обучения из myInitialLearnRate в таблице гиперпараметров.
Модель поезда определяет пользовательский цикл обучения, используемый в эксперименте. Для каждой эпохи пользовательский учебный цикл выполняет тасование данных и итерацию по мини-пакетам данных. Для каждого мини-пакета настраиваемый учебный цикл оценивает градиенты модели, состояние и потери, определяет скорость обучения для графика скорости обучения с учетом времени и обновляет параметры сети. Для отслеживания хода обучения и регистрации значения потери обучения функция обучения использует experiments.Monitor объект monitor.
При выполнении эксперимента Диспетчер экспериментов обучает сеть, определенную функцией обучения, шесть раз. В каждом испытании используется один из показателей обучения, указанных в таблице гиперпараметров. По умолчанию Experiment Manager запускает по одной пробной версии. При наличии панели инструментов Parallel Computing Toolbox можно выполнять несколько пробных версий одновременно. Чтобы получить наилучшие результаты, перед запуском эксперимента запустите параллельный пул с таким количеством работников, как GPU. Дополнительные сведения см. в разделе Использование диспетчера экспериментов для обучения сетей параллельной поддержке и поддержке графического процессора по выпуску (панель инструментов параллельных вычислений).
Чтобы запустить одну пробную версию эксперимента за один раз, на панели инструментов Диспетчера экспериментов нажмите кнопку Выполнить.
Чтобы запустить несколько пробных версий одновременно, щелкните Использовать параллельное, а затем Выполнить. Если текущий параллельный пул отсутствует, диспетчер экспериментов запускает его с использованием профиля кластера по умолчанию. Затем Experiment Manager выполняет несколько одновременных испытаний в зависимости от количества доступных параллельных работников.
Таблица результатов отображает потери при обучении для каждого испытания.
Во время выполнения эксперимента щелкните Обучающий график (Training Plot), чтобы отобразить обучающий график и отслеживать ход выполнения каждого испытания.
По завершении эксперимента можно отсортировать таблицу по столбцам или тестам фильтров с помощью панели Фильтры (Filters). Можно также записать наблюдения, добавив аннотации в таблицу результатов. Дополнительные сведения см. в разделе Сортировка, фильтрация и аннотирование результатов эксперимента.
Чтобы проверить производительность отдельной пробной версии, экспортируйте результаты обучения для пробной версии. На панели инструментов Диспетчера экспериментов выберите «Экспорт». В этом эксперименте результат обучения представляет собой структуру, которая содержит значения потерь обучения и обучаемой сети.
Чтобы закрыть эксперимент, на панели «Обозреватель экспериментов» щелкните правой кнопкой мыши имя проекта и выберите «Закрыть проект». Менеджер экспериментов закрывает все эксперименты и результаты, содержащиеся в проекте.
В этом примере показано, как настроить встроенный учебный эксперимент с помощью приложения Experiment Manager. trainNetwork функции и поддержка рабочих процессов, таких как классификация изображений, регрессия изображений, классификация последовательностей и семантическая сегментация.
Встроенные обучающие эксперименты состоят из описания, таблицы гиперпараметров, функции настройки и коллекции метрических функций для оценки результатов эксперимента.
В поле Описание введите описание эксперимента.
В разделе Гиперпараметры выберите стратегию для эксперимента.
Чтобы просмотреть диапазон значений гиперпараметров, задайте для параметра Стратегия значение Exhaustive Sweep. В таблице гиперпараметров укажите значения гиперпараметров, использованных в эксперименте. Можно указать значения гиперпараметров как скаляры или векторы с числовыми, логическими или строковыми значениями. Например, это допустимые спецификации гиперпараметров:
0.01
0.01:0.01:0.05
[0.01 0.02 0.04 0.08]
["sgdm" "rmsprop" "adam"]
При выполнении эксперимента Диспетчер экспериментов обучает сеть с использованием каждой комбинации значений гиперпараметров, указанных в таблице.
Чтобы найти оптимальные варианты обучения с помощью байесовской оптимизации, задайте для параметра Стратегия значение Bayesian Optimization. В таблице гиперпараметров укажите следующие свойства гиперпараметров, использованных в эксперименте:
Диапазон - введите двухэлементный вектор, который дает нижнюю и верхнюю границы вещественного или целого гиперпараметра или строкового массива или массива ячеек, который перечисляет возможные значения категориального гиперпараметра.
Тип - Выбрать real (гиперпараметр с действительным значением), integer (гиперпараметр с целочисленным значением), или categorical (категориальный гиперпараметр).
Преобразовать - Выбрать none (без преобразования) или log (логарифмическое преобразование).
Для log, гиперпараметр должен быть real или integer и позитивно. Гиперпараметр искали и моделировали в логарифмическом масштабе.
При выполнении эксперимента Диспетчер экспериментов ищет наилучшую комбинацию гиперпараметров. Каждое испытание в эксперименте использует новую комбинацию значений гиперпараметров на основе результатов предыдущих испытаний. Чтобы указать продолжительность эксперимента, в разделе Параметры байесовской оптимизации введите максимальное время (в секундах) и максимальное количество пробных испытаний. Для байесовской оптимизации требуется инструментарий статистики и машинного обучения. Дополнительные сведения см. в разделе Настройка гиперпараметров эксперимента с помощью байесовской оптимизации.
Функция настройки настраивает данные обучения, сетевую архитектуру и параметры обучения для эксперимента. Ввод в функцию настройки представляет собой структуру с полями из таблицы гиперпараметров. Выходные данные функции установки должны соответствовать входным данным trainNetwork функция. В этой таблице перечислены поддерживаемые сигнатуры для функции установки.
| Цель эксперимента | Подпись функции настройки |
|---|---|
Подготовка сети для задач классификации и регрессии изображений с использованием изображений и ответов, указанных в images и варианты обучения, определенные options. |
function [images,layers,options] = Experiment_setup(params) ... end |
Обучение сети с использованием образов, указанных в images и ответы, указанные responses. |
function [images,responses,layers,options] = Experiment_setup(params) ... end |
Обучение сети задачам классификации и регрессии последовательностей или временных рядов (например, сети LSTM или GRU) с использованием последовательностей и ответов, указанных в sequences. |
function [sequences,layers,options] = Experiment_setup(params) ... end |
Обучение сети с использованием последовательностей, указанных в sequences и ответы, указанные responses. |
function [sequences,reponses,layers,options] = Experiment_setup(params) ... end |
Подготовка сети для задач классификации или регрессии элементов (например, многоуровневого перцептрона или сети MLP) с использованием данных элементов и ответов, указанных в features. |
function [features,layers,options] = Experiment_setup(params) ... end |
Обучение сети с использованием данных функции, указанных в features и ответы, указанные responses. |
function [features,responses,layers,options] = Experiment_setup(params) ... end |
Примечание
Experiment Manager не поддерживает параллельное выполнение при установке опции обучения 'ExecutionEnvironment' кому 'multi-gpu' или 'parallel' или при включении опции обучения 'DispatchInBackground'. Дополнительные сведения см. в разделе Использование диспетчера экспериментов для параллельного обучения сетей.
Раздел «Метрики» определяет функции для оценки результатов эксперимента. Вход в метрическую функцию представляет собой структуру с тремя полями:
trainedNetwork является SeriesNetwork объект или DAGNetwork объект, возвращенный trainNetwork функция. Дополнительные сведения см. в разделе Обученная сеть.
trainingInfo - структура, содержащая информацию об обучении, возвращенную trainNetwork функция. Дополнительные сведения см. в разделе Сведения об обучении.
parameters - структура с полями из таблицы гиперпараметров.
Вывод метрической функции должен быть скалярным числом, логическим значением или строкой.
Если в эксперименте используется байесовская оптимизация, выберите метрику для оптимизации из списка Оптимизировать (Optimize). В списке «Направление» укажите, что требуется Maximize или Minimize эта метрика. Диспетчер экспериментов использует эту метрику для определения наилучшей комбинации гиперпараметров для эксперимента. В таблице можно выбрать стандартную метрику обучения или проверки (например, точность, RMSE или потеря) или пользовательскую метрику.
В этом примере показано, как настроить пользовательский эксперимент обучения с помощью приложения Experiment Manager. Пользовательские эксперименты обучения поддерживают рабочие процессы, для которых требуется функция обучения, отличная от trainNetwork. Эти рабочие процессы включают в себя:
Обучение сети, которая не определена графиком уровня.
Обучение сети с использованием пользовательского графика обучения.
Обновление обучаемых параметров сети с помощью пользовательской функции.
Обучение генеративной состязательной сети (GAN).
Обучение сиамской сети.
Пользовательские обучающие эксперименты состоят из описания, таблицы гиперпараметров и обучающей функции.
В поле Описание введите описание эксперимента.
В разделе Гиперпараметры укажите значения гиперпараметров, используемых в эксперименте. Можно указать значения гиперпараметров как скаляры или векторы с числовыми, логическими или строковыми значениями. Например, это допустимые спецификации гиперпараметров:
0.01
0.01:0.01:0.05
[0.01 0.02 0.04 0.08]
["sgdm" "rmsprop" "adam"]
При выполнении эксперимента Диспетчер экспериментов обучает сеть с использованием каждой комбинации значений гиперпараметров, указанных в таблице.
Функция обучения определяет данные обучения, архитектуру сети, варианты обучения и процедуру обучения, используемые в эксперименте. Входными данными для функции обучения являются:
Структура с полями из таблицы гиперпараметров
Один experiments.Monitor объект, который можно использовать для отслеживания хода обучения, обновления информационных полей в таблице результатов, записи значений показателей, используемых обучением, и создания графиков обучения
Experiment Manager сохраняет выходные данные обучающей функции, что позволяет экспортировать их в рабочую область MATLAB по завершении обучения.
Примечание
Как информационные, так и метрические столбцы отображают числовые значения в таблице результатов для эксперимента. Кроме того, метрические значения записываются на обучающий график. Используйте информационные столбцы для значений, которые должны отображаться в таблице результатов, но не в графике обучения.
В этом примере показано, как сравнивать результаты и записывать наблюдения после выполнения эксперимента.
При выполнении эксперимента Диспетчер экспериментов несколько раз обучает сеть, определенную функцией настройки. В каждом испытании используется различная комбинация гиперпараметров. По завершении эксперимента в таблице отображаются показатели обучения и проверки (такие как точность, RMSE и потери) для каждого испытания. Чтобы сравнить результаты эксперимента, можно использовать эти метрики для сортировки таблицы результатов и фильтрации испытаний.
Чтобы отсортировать испытания в таблице результатов, используйте раскрывающееся меню для столбца, соответствующего метрике обучения или проверки.
Укажите заголовок столбца, по которому требуется выполнить сортировку.
Щелкните значок треугольника.
Выберите Сортировка в порядке возрастания или Сортировка в порядке убывания.
Чтобы отфильтровать пробные версии из таблицы результатов, используйте панель Фильтры (Filters).
На панели инструментов Диспетчера экспериментов выберите «Фильтры».
На панели Фильтры (Filters) отображаются гистограммы для числовых метрик в таблице результатов. Чтобы удалить гистограмму с панели Фильтры (Filters), в таблице результатов откройте раскрывающееся меню для соответствующего столбца и снимите флажок Показать фильтр (Show Filter).
Настройте ползунки под гистограммой для метрики обучения или проверки, по которой требуется выполнить фильтрацию.
В таблице результатов показаны только испытания со значением метрики в выбранном диапазоне.
Чтобы восстановить все испытания в таблице результатов, закройте панель Результат эксперимента (Experiment Result) и снова откройте результаты из панели Обозреватель экспериментов (Experiment Browser).
Чтобы записать наблюдения о результатах эксперимента, добавьте аннотацию.
Щелкните правой кнопкой мыши ячейку в таблице результатов и выберите Добавить аннотацию (Add Annotation). Либо выберите ячейку в таблице результатов и на панели инструментов Диспетчера экспериментов выберите Аннотации (Annotations) > Добавить аннотацию (Add Annotation).
На панели Аннотации (Annotations) введите данные наблюдений в текстовое поле.
Для каждой ячейки таблицы результатов можно добавить несколько аннотаций. Каждая аннотация помечается меткой времени.
Чтобы выделить ячейку, соответствующую аннотации, щелкните ссылку над аннотацией.
Чтобы открыть панель Аннотации (Annotations) и просмотреть все аннотации, на панели инструментов Диспетчера экспериментов выберите Аннотации (Annotations) > Показать аннотации (View Annotations).
В этом примере показано, как проверить конфигурацию эксперимента, который дал данный результат.
После запуска эксперимента можно открыть панель Источник эксперимента (Experiment Source), чтобы увидеть доступную только для чтения копию описания эксперимента и таблицы гиперпараметров, а также ссылки на все функции, используемые в эксперименте. Информацию на этой панели можно использовать для отслеживания конфигурации данных, сети и параметров обучения, которые дают каждый результат.
Например, предположим, что эксперимент выполняется несколько раз. Каждый раз, когда вы запускаете эксперимент, вы изменяете содержимое функции настройки, но всегда используете одно и то же имя функции. При первом запуске эксперимента для классификации изображений используется сеть по умолчанию, предоставляемая шаблоном эксперимента. Во второй раз, когда вы запускаете эксперимент, вы изменяете функцию настройки, чтобы загрузить предварительно обученную сеть GoogLeNet, заменив конечные слои новыми слоями для обучения передаче. Пример использования этих двух сетевых архитектур см. в разделе Создание эксперимента глубокого обучения для классификации.
На первой панели Результат эксперимента (Experiment Result) щелкните ссылку Просмотр источника эксперимента (View Experiment Source). Диспетчер экспериментов открывает панель Источник эксперимента (Experiment Source), содержащую определение эксперимента, которое дало первый набор результатов. Щелкните ссылку в нижней части панели, чтобы открыть функцию настройки, которая использовалась при первом запуске эксперимента. Эту функцию настройки можно скопировать для повторного запуска эксперимента с использованием простой сети классификации.
На второй панели Результат эксперимента (Experiment Result) щелкните ссылку Просмотр источника эксперимента (View Experiment Source). Диспетчер экспериментов открывает панель Источник эксперимента (Experiment Source), содержащую определение эксперимента, которое дало второй набор результатов. Щелкните ссылку в нижней части панели, чтобы открыть функцию настройки, которая использовалась при втором запуске эксперимента. Можно скопировать эту функцию настройки для повторного запуска эксперимента с помощью обучения переносу.
Диспетчер экспериментов сохраняет копию всех используемых функций, поэтому при изменении и повторном запуске эксперимента не требуется переименовывать эти функции вручную.
Для визуализации, построения и обучения сети без использования гиперпараметров можно использовать приложение Deep Network Designer. После обучения сети создайте сценарий, который будет использоваться в качестве отправной точки для экспериментов глубокого обучения. Дополнительные сведения см. в разделе Адаптация кода, созданного в конструкторе глубоких сетей, для использования в диспетчере экспериментов.