Предварительная обработка данных используется для обучения, проверки и вывода. Предварительная обработка состоит из ряда детерминированных операций, которые нормализуют или расширяют требуемые функции данных. Например, можно нормализовать данные в фиксированном диапазоне или изменить масштаб данных до размера, требуемого для сетевого входного уровня.
Предварительная обработка может выполняться на двух этапах процесса глубокого обучения.
Обычно предварительная обработка выполняется как отдельный шаг, который выполняется перед подготовкой данных для передачи в сеть. Загрузите исходные данные, примените операции предварительной обработки и сохраните результат на диске. Преимущество этого подхода состоит в том, что служебные данные предварительной обработки требуются только один раз, тогда предварительно обработанные изображения легко доступны в качестве начального места для всех будущих испытаний обучения сети.
При загрузке данных в хранилище данных можно также применить предварительную обработку во время обучения с помощью transform и combine функции. Дополнительные сведения см. в разделе Хранилища данных для глубокого обучения. Преобразованные изображения не хранятся в памяти. Этот подход удобен для того, чтобы избежать записи второй копии обучающих данных на диск, если операции предварительной обработки не являются дорогостоящими в вычислительном отношении и не оказывают заметного влияния на скорость обучения сети.
Увеличение данных состоит из рандомизированных операций, которые применяются к обучающим данным во время обучения в сети. Расширение увеличивает эффективный объем обучающих данных и помогает сделать сеть инвариантной для общего искажения данных. Например, можно добавить искусственный шум в обучающие данные, чтобы сеть была инвариантной к шуму.
Чтобы расширить обучающие данные, начните с загрузки данных в хранилище данных. Дополнительные сведения см. в разделе Хранилища данных для глубокого обучения. Некоторые встроенные хранилища данных применяют определенный и ограниченный набор дополнений к данным для конкретных приложений. Можно также применить собственный набор операций дополнения к данным в хранилище данных с помощью transform и combine функции. Во время обучения хранилище данных случайным образом возмущает данные обучения для каждой эпохи, так что каждая эпоха использует немного другой набор данных.
Увеличение данных изображения для моделирования изменений в получении изображения. Например, наиболее распространенным типом операций увеличения изображения являются геометрические преобразования, такие как поворот и перемещение, которые имитируют изменения ориентации камеры относительно сцены. Дрожание цвета моделирует изменения условий освещения и цвета в сцене. Искусственный шум имитирует искажения, вызванные электрическими колебаниями датчика и ошибками аналого-цифрового преобразования. Функция «Размытие» имитирует нефокусированный объектив или перемещение камеры относительно сцены.
Обычные операции предварительной обработки изображения включают в себя удаление шума, сглаживание с сохранением края, преобразование цветового пространства, усиление контрастности и морфологию.
При наличии Toolbox™ обработки изображений можно обрабатывать данные, используя эти операции, а также любые другие функциональные возможности панели инструментов. Пример создания и применения этих преобразований см. в разделе Дополнительные изображения для рабочих процессов глубокого обучения с помощью панели инструментов обработки изображений.
| Тип обработки | Описание | Примеры функций | Пример выходных данных |
|---|---|---|---|
| Изменение размеров изображений | Изменение размера изображения с фиксированным коэффициентом масштабирования или до целевого размера |
| |
| Изображения деформации | Применение случайного отражения, поворота, масштаба, сдвига и перемещения к изображениям |
|
|
| Обрезать изображения | Обрезка изображения до целевого размера из центра или случайного положения |
|
|
| Цвет дрожания | Случайная регулировка оттенка, насыщенности, яркости или контрастности изображения |
|
|
| Имитация шума | Добавление случайного гауссова, пуассона, соли и перца или мультипликативного шума |
|
|
| Моделирование размытия | Добавление размытия движения по Гауссу или направлению |
|
|
Данные обнаружения объектов состоят из изображения и ограничивающих рамок, описывающих местоположение и характеристики объектов на изображении.
При наличии Toolbox™ Computer Vision можно использовать приложения Image Labeler (Computer Vision Toolbox) и Video Labeler (Computer Vision Toolbox) для интерактивной маркировки ROI и экспорта данных метки для обучения нейронной сети. Если у вас есть Toolbox™ автоматизированного вождения, вы также используете приложение Ground Truth Labeler (Automated Driving Toolbox) для создания помеченных данных обучения правде земли.
При преобразовании изображения необходимо выполнить идентичное преобразование в соответствующие ограничивающие рамки. При наличии панели инструментов Computer Vision Toolbox можно обрабатывать данные ограничительной рамки с помощью операций в таблице. Пример создания и применения этих преобразований см. в разделе Дополнительные ограничивающие рамки для обнаружения объектов. Дополнительные сведения см. в разделе Начало работы с обнаружением объектов с помощью глубокого обучения (панель инструментов Computer Vision Toolbox).
| Тип обработки | Описание | Примеры функций | Пример выходных данных |
|---|---|---|---|
| Изменение размеров ограничивающих рамок | Изменение размера ограничивающих рамок с помощью фиксированного коэффициента масштабирования или целевого размера |
|
|
| Обрезать ограничивающие рамки | Обрезка ограничивающей рамки до целевого размера от центра или случайного положения |
|
|
| Ограничивающие рамки деформации | Применение отражения, поворота, масштаба, сдвига и перемещения к ограничивающим рамкам |
|
|
Семантические данные сегментации состоят из изображений и соответствующих пиксельных меток, представленных в виде категориальных массивов.
Если у вас есть панель инструментов Computer Vision Toolbox, то вы можете использовать приложения Image Labeler (Computer Vision Toolbox) и Video Labeler (Computer Vision Toolbox) для интерактивной маркировки пикселей и экспорта данных метки для обучения нейронной сети. Если у вас есть Automated Driving Toolbox, то вы также используете приложение Ground Truth Labeler (Automated Driving Toolbox), чтобы создать помеченные данные обучения Ground Truth.
При преобразовании изображения необходимо выполнить идентичное преобразование к соответствующему изображению с меткой пикселя. При наличии панели инструментов обработки изображений можно предварительно обработать изображения меток пикселей с помощью функций таблицы и любой другой функции панели инструментов, поддерживающей категориальный ввод. Пример создания и применения этих преобразований см. в разделе Добавление меток пикселей для семантической сегментации. Дополнительные сведения см. в разделе Начало работы с семантической сегментацией с использованием глубокого обучения (панель инструментов Computer Vision Toolbox).
| Тип обработки | Описание | Примеры функций | Пример выходных данных |
|---|---|---|---|
| Изменение размера пиксельных меток | Изменение размера изображения метки пикселя с помощью фиксированного масштабного коэффициента или целевого размера |
|
|
| Подрезка меток пикселов | Обрезка изображения пиксельной метки до целевого размера из центра или случайного положения |
|
|
| Метки пикселов деформации | Применение случайного отражения, поворота, масштаба, сдвига и перемещения к изображениям меток пикселей |
|
|
Toolbox™ обработки сигналов позволяет подавлять, сглаживать, уменьшать и повторять выборку сигналов. Можно дополнить обучающие данные шумом, многолучевым замиранием и синтетическими сигналами, такими как импульсы и чирпы. Можно также создавать маркированные наборы сигналов с помощью приложения Signal Labeler (Signal Processing Toolbox) и labeledSignalSet(Панель инструментов обработки сигналов). Пример создания и применения этих преобразований см. в разделе Сегментация формы волны с помощью глубокого обучения.
Wavelet Toolbox™ and Signal Processing Toolbox позволяет создавать 2-D частотно-временные представления данных временных рядов, которые можно использовать в качестве входных данных изображений для приложений классификации сигналов. Пример см. в разделе Классификация временных рядов с использованием вейвлет-анализа и глубокого обучения. Аналогично, можно извлекать последовательности из сигнальных данных для использования в качестве входных данных для сетей LSTM. Пример см. в разделе Классификация сигналов ЭКГ с использованием сетей долговременной памяти (панель инструментов обработки сигналов).
Toolbox™ связи расширяет функциональные возможности обработки сигналов, позволяя выполнять коррекцию ошибок, перемежение, модуляцию, фильтрацию, синхронизацию и выравнивание систем связи. Пример создания и применения этих преобразований см. в разделе Классификация модуляции с глубоким обучением.
Данные сигналов можно обрабатывать с помощью функций таблицы, а также любых других функций на каждой панели инструментов.
| Тип обработки | Описание | Примеры функций | Пример выходных данных |
|---|---|---|---|
| Чистые сигналы |
|
|
|
| Фильтровать сигналы |
|
|
|
| Усилительные сигналы |
|
| |
| Создание частотно-временных представлений | Создание спектрограмм, скалограмм и других 2-D представлений сигналов 1-D |
|
|
| Извлечение элементов из сигналов | Оценка мгновенной частоты и спектральной энтропии |
|
Audio Toolbox™ предоставляет инструменты для обработки звука, анализа речи и акустических измерений. Используйте эти инструменты для извлечения слуховых функций и преобразования звуковых сигналов. Увеличение аудиоданных с рандомизированным или детерминированным масштабированием времени, растягиванием времени и сдвигом основного тона. Вы также можете создавать маркированные данные обучения истинности земли с помощью приложения Audio Labeler (Audio Toolbox). Вы можете обрабатывать аудиоданные, используя функции этой таблицы, а также любые другие функции панели инструментов. Пример создания и применения этих преобразований см. в разделе Набор данных Augment Audio (Audio Toolbox).
| Тип обработки | Описание | Примеры функций | Пример выходных данных |
|---|---|---|---|
| Увеличение аудиоданных | Выполнять случайное или детерминированное смещение основного тона, изменение шкалы времени, сдвиг времени, добавление шума и контроль громкости |
|
|
| Извлечение функций звука | Извлечение спектральных параметров из звуковых сегментов |
|
Обработанные выходные данные:
ans = struct with fields:
mfcc: [1 2 3 4 5 6 7 8 9 10 11 12 13]
mfccDelta: [14 15 16 17 18 19 20 21 22 23 24 25 26]
mfccDeltaDelta: [27 28 29 30 31 32 33 34 35 36 37 38 39]
spectralCentroid: 40
pitch: 41
|
| Создание частотно-временных представлений | Создание спектрограмм и других 2-D представлений аудиосигналов |
|
|
Text Analytics Toolbox™ включает инструменты для обработки необработанного текста из таких источников, как журналы оборудования, новостные ленты, опросы, отчеты операторов и социальные сети. Эти инструменты используются для извлечения текста из популярных форматов файлов, предварительной обработки исходного текста, извлечения отдельных слов или многословных фраз (n-grams), преобразования текста в числовые представления и построения статистических моделей. Текстовые данные можно обрабатывать с помощью функций этой таблицы, а также любых других функциональных возможностей панели инструментов. Пример начала работы см. в разделе Подготовка текстовых данных к анализу (панель инструментов для анализа текста).
| Тип обработки | Описание | Примеры функций | Пример выходных данных |
|---|---|---|---|
| Маркировать текст | Разбор текста на слова и знаки препинания |
| Оригинал:
Обработанные выходные данные:
|
| Очистить текст |
|
| Обработанные выходные данные:
|
combine | read | trainingOptions | trainNetwork | transform
