Предварительная обработка данных используется для обучения, валидации и вывода. Предварительная обработка состоит из ряда детерминированных операций, которые нормируют или улучшают желаемые функции данных. Например, можно нормировать данные к фиксированной области значений или перемасштабировать данные к размеру, требуемому сетевым входным слоем.
Предварительная обработка может произойти на двух этапах в рабочем процессе глубокого обучения.
Обычно предварительная обработка происходит как отдельный шаг, который вы завершаете прежде, чем подготовить данные, которые будут питаться сеть. Вы загружаете свои исходные данные, применяете операции предварительной обработки, затем сохраняете результат на диск. Преимущество этого подхода состоит в том, что предварительная обработка наверху только требуется однажды, затем предварительно обработанные изображения легко доступны как стартовое место для всех будущих испытаний обучения сети.
Если вы загружаете свои данные в datastore, то можно также применить предварительную обработку во время обучения при помощи transform и combine функции. Для получения дополнительной информации смотрите Хранилища данных для Глубокого обучения. Преобразованные изображения не хранятся в памяти. Этот подход удобен, чтобы не писать вторую копию обучающих данных к диску, если ваши операции предварительной обработки не являются в вычислительном отношении дорогими и заметно не влияют на скорость обучения сети.
Увеличение данных состоит из рандомизированных операций, которые применяются к обучающим данным, в то время как сеть является обучением. Увеличение увеличивает эффективную сумму обучающих данных и помогает сделать сетевой инвариант к общему искажению в данных. Например, можно добавить искусственный шум в обучающие данные так, чтобы сеть была инвариантной к шуму.
Чтобы увеличить обучающие данные, запустите путем загрузки данных в datastore. Для получения дополнительной информации смотрите Хранилища данных для Глубокого обучения. Некоторые встроенные хранилища данных применяют определенный и ограниченный набор увеличения к данным для определенных приложений. Можно также применить собственный набор операций увеличения на данных в datastore при помощи transform и combine функции. Во время обучения datastore случайным образом тревожит обучающие данные в течение каждой эпохи, так, чтобы каждая эпоха использовала немного отличающийся набор данных.
Увеличьте данные изображения, чтобы симулировать изменения получения изображений. Например, наиболее распространенный тип операций увеличения изображений геометрические преобразования, такие как вращение и перевод, которые симулируют изменения ориентации камеры относительно сцены. Колебание цвета симулирует изменения условий освещения, и раскрасьте сцену. Искусственный шум симулирует искажения, вызванные электрическими колебаниями датчика и аналого-цифровых ошибок преобразования. Размытость симулирует расфокусированную линзу или перемещение камеры относительно сцены.
Общие операции предварительной обработки изображений включают удаление шума, сглаживание сохранения ребра, преобразование цветового пространства, контрастное улучшение и морфологию.
Если у вас есть Image Processing Toolbox™, то можно обработать данные с помощью этих операций, а также любой другой функциональности в тулбоксе. Для примера, который показывает, как создать и применить эти преобразования, смотрите Изображения Приращения для Рабочих процессов Глубокого обучения Используя Image Processing Toolbox.
| Обработка типа | Описание | Демонстрационные функции | Демонстрационный Выход |
|---|---|---|---|
| Измените размер изображений | Измените размер изображений фиксированным масштабным коэффициентом или к целевому размеру |
| |
| Деформируйте изображения | Примените случайное отражение, вращение, шкалу, сдвиг и перевод в изображения |
|
|
| Обрежьте изображения | Обрежьте изображение к целевому размеру от центра или случайного положения |
|
|
| Цвет дрожания | Случайным образом настройте оттенок изображений, насыщение, яркость или контраст |
|
|
| Симулируйте шум | Добавьте случайный Гауссов, Пуассон, соль и перец или мультипликативный шум |
|
|
| Симулируйте размытость | Добавьте Гауссову или направленную размытость изображения движущегося объекта |
|
|
Данные об обнаружении объектов состоят из поля изображения и ограничительные рамки, которые описывают местоположение и характеристики объектов в изображении.
Если у вас есть Computer Vision Toolbox™, то можно использовать Image Labeler (Computer Vision Toolbox) и приложения Video Labeler (Computer Vision Toolbox), чтобы интерактивно помечать ROI и экспортировать данные о метке для того, чтобы обучить нейронную сеть. Если у вас есть Automated Driving Toolbox™, то вы также используете приложение Ground Truth Labeler (Automated Driving Toolbox), чтобы создать помеченные обучающие данные основной истины.
Когда вы преобразовываете изображение, необходимо выполнить идентичное преобразование к соответствующим ограничительным рамкам. Если у вас есть Computer Vision Toolbox, то можно обработать данные об ограничительной рамке с помощью операций в таблице. Для примера, который показывает, как создать и применить эти преобразования, смотрите Ограничительные рамки Приращения для Обнаружения объектов. Для получения дополнительной информации смотрите Начало работы с Обнаружением объектов Используя Глубокое обучение (Computer Vision Toolbox).
| Обработка типа | Описание | Демонстрационные функции | Демонстрационный Выход |
|---|---|---|---|
| Измените размер ограничительных рамок | Измените размер ограничительных рамок фиксированным масштабным коэффициентом или к целевому размеру |
|
|
| Обрежьте ограничительные рамки | Обрежьте ограничительную рамку к целевому размеру от центра или случайного положения |
|
|
| Деформируйте ограничительные рамки | Примените отражение, вращение, шкалу, сдвиг и перевод в ограничительные рамки |
|
|
Данные о семантической сегментации состоят из изображений и соответствующих пиксельных меток, представленных как категориальные массивы.
Если у вас есть Computer Vision Toolbox, то можно использовать Image Labeler (Computer Vision Toolbox) и приложения Video Labeler (Computer Vision Toolbox), чтобы интерактивно помечать пиксели и экспортировать данные о метке для того, чтобы обучить нейронную сеть. Если у вас есть Automated Driving Toolbox, то вы также используете приложение Ground Truth Labeler (Automated Driving Toolbox), чтобы создать помеченные обучающие данные основной истины.
Когда вы преобразовываете изображение, необходимо выполнить идентичное преобразование к соответствующему пикселю помеченное изображение. Если у вас есть Image Processing Toolbox, то можно предварительно обработать пиксельные изображения метки с помощью функций в таблице и любой другой функции тулбокса, которая поддерживает категориальный вход. Для примера, который показывает, как создать и применить эти преобразования, смотрите Пиксельные Метки Приращения для Семантической Сегментации. Для получения дополнительной информации смотрите Начало работы с Семантической Сегментацией Используя Глубокое обучение (Computer Vision Toolbox).
| Обработка типа | Описание | Демонстрационные функции | Демонстрационный Выход |
|---|---|---|---|
| Измените размер пиксельных меток | Измените размер пиксельных изображений метки фиксированным масштабным коэффициентом или к целевому размеру |
| |
| Обрежьте пиксельные метки | Обрежьте пиксельное изображение метки к целевому размеру от центра или случайного положения |
|
|
| Деформируйте пиксельные метки | Примените случайное отражение, вращение, шкалу, сдвиг и перевод в пиксельные изображения метки |
|
|
Signal Processing Toolbox™ включает, вы к denoise, сглаженному, детрендируете и передискретизируете сигналы. Можно увеличить обучающие данные с шумом, многопутевым исчезновением и синтетическими сигналами, такими как импульсы и щебеты. Можно также создать помеченные наборы сигналов при помощи приложения Signal Labeler (Signal Processing Toolbox) и labeledSignalSet Объект (Signal Processing Toolbox). Для примера, который показывает, как создать и применить эти преобразования, смотрите, что Сегментация Формы волны Использует Глубокое обучение.
Wavelet Toolbox™ и Signal Processing Toolbox позволяют вам сгенерировать 2D представления частоты времени данных временных рядов, которые можно использовать в качестве входных параметров изображений для приложений классификации сигнала. Для примера смотрите, Классифицируют Временные ряды Используя Анализ Вейвлета и Глубокое обучение. Точно так же можно извлечь последовательности из данных сигнала, чтобы использовать в качестве входа для сетей LSTM. Для примера смотрите, Классифицируют Сигналы ECG Используя Длинные Краткосрочные Сети Памяти (Signal Processing Toolbox).
Communications Toolbox™ подробно останавливается на функциональности обработки сигналов, чтобы позволить вам выполнить исправление ошибок, перемежение, модуляцию, фильтрацию, синхронизацию и эквализацию систем связи. Для примера, который показывает, как создать и применить эти преобразования, смотрите Классификацию Модуляций с Глубоким обучением.
Можно обработать данные сигнала с помощью функций в таблице, а также любой другой функциональности в каждом тулбоксе.
| Обработка типа | Описание | Демонстрационные функции | Демонстрационный Выход |
|---|---|---|---|
| Чистые сигналы |
|
|
|
| Отфильтруйте сигналы |
|
|
|
| Увеличьте сигналы |
|
| |
| Создайте представления частоты времени | Создайте спектрограммы, scalograms, и другие 2D представления 1D сигналов |
| |
| Извлеките функции из сигналов | Оцените мгновенную частоту и спектральную энтропию |
|
Audio Toolbox™ обеспечивает инструменты для обработки аудиоданных, речевого анализа и акустического измерения. Используйте эти инструменты, чтобы извлечь слуховые функции и преобразовать звуковые сигналы. Увеличьте аудиоданные с рандомизированным или детерминированным временем, масштабировавшись, время, простираясь и перемена тангажа. Можно также создать помеченные обучающие данные основной истины при помощи приложения Audio Labeler (Audio Toolbox). Можно обработать аудиоданные с помощью функций в этой таблице, а также любой другой функциональности в тулбоксе. Для примера, который показывает, как создать и применить эти преобразования, смотрите Набор данных Аудио Приращения (Audio Toolbox).
| Обработка типа | Описание | Демонстрационные функции | Демонстрационный Выход |
|---|---|---|---|
| Увеличьте аудиоданные | Выполните случайную или детерминированную перемену тангажа, модификацию масштаба времени, смещение во времени, шумовое сложение и регулятор громкости |
|
|
| Извлеките функции аудио | Извлеките спектральные параметры из аудио сегментов |
|
Processed выход:
ans = struct with fields:
mfcc: [1 2 3 4 5 6 7 8 9 10 11 12 13]
mfccDelta: [14 15 16 17 18 19 20 21 22 23 24 25 26]
mfccDeltaDelta: [27 28 29 30 31 32 33 34 35 36 37 38 39]
spectralCentroid: 40
pitch: 41
|
| Создайте представления частоты времени | Создайте mel спектрограммы и другие 2D представления звуковых сигналов |
|
|
Text Analytics Toolbox™ включает инструменты для обработки необработанного текста из источников, таких как журналы оборудования, ленты новостей, обзоры, отчеты оператора и социальные сети. Используйте эти инструменты, чтобы извлечь текст из популярных файловых форматов, предварительно обработать необработанный текст, извлечь отдельные слова или фразы многословные (N-граммы), преобразовать текст в числовые представления и статистические модели сборки. Вы можете данные о тексте процесса с помощью функций в этой таблице, а также любой другой функциональности в тулбоксе. Для примера, показывающего, как начать, смотрите, Готовят текстовые Данные к Анализу (Text Analytics Toolbox).
| Обработка типа | Описание | Демонстрационные функции | Демонстрационный Выход |
|---|---|---|---|
| Маркируйте текст | Проанализируйте текст в слова и пунктуацию |
| Исходный:
Processed выход:
|
| Чистый текст |
|
| Processed выход:
|
transform | combine | trainNetwork | trainingOptions | read
