Предварительно обработайте данные для проблемно-ориентированного применения глубокого обучения

Предварительная обработка данных используется для обучения, валидации и вывода. Предварительная обработка состоит из ряда детерминированных операций, которые нормируют или улучшают желаемые функции данных. Например, можно нормировать данные к фиксированной области значений или перемасштабировать данные к размеру, требуемому сетевым входным слоем.

Предварительная обработка может произойти на двух этапах в рабочем процессе глубокого обучения.

  • Обычно предварительная обработка происходит как отдельный шаг, который вы завершаете прежде, чем подготовить данные, которые будут питаться сеть. Вы загружаете свои исходные данные, применяете операции предварительной обработки, затем сохраняете результат на диск. Преимущество этого подхода состоит в том, что предварительная обработка наверху только требуется однажды, затем предварительно обработанные изображения легко доступны как стартовое место для всех будущих испытаний обучения сети.

  • Если вы загружаете свои данные в datastore, то можно также применить предварительную обработку во время обучения при помощи transform и combine функции. Для получения дополнительной информации смотрите Хранилища данных для Глубокого обучения. Преобразованные изображения не хранятся в памяти. Этот подход удобен, чтобы не писать вторую копию обучающих данных к диску, если ваши операции предварительной обработки не являются в вычислительном отношении дорогими и заметно не влияют на скорость обучения сети.

Увеличение данных состоит из рандомизированных операций, которые применяются к обучающим данным, в то время как сеть является обучением. Увеличение увеличивает эффективную сумму обучающих данных и помогает сделать сетевой инвариант к общему искажению в данных. Например, можно добавить искусственный шум в обучающие данные так, чтобы сеть была инвариантной к шуму.

Чтобы увеличить обучающие данные, запустите путем загрузки данных в datastore. Для получения дополнительной информации смотрите Хранилища данных для Глубокого обучения. Некоторые встроенные хранилища данных применяют определенный и ограниченный набор увеличения к данным для определенных приложений. Можно также применить собственный набор операций увеличения на данных в datastore при помощи transform и combine функции. Во время обучения datastore случайным образом тревожит обучающие данные в течение каждой эпохи, так, чтобы каждая эпоха использовала немного отличающийся набор данных.

Приложения для обработки изображений

Увеличьте данные изображения, чтобы симулировать изменения получения изображений. Например, наиболее распространенный тип операций увеличения изображений геометрические преобразования, такие как вращение и перевод, которые симулируют изменения ориентации камеры относительно сцены. Колебание цвета симулирует изменения условий освещения, и раскрасьте сцену. Искусственный шум симулирует искажения, вызванные электрическими колебаниями датчика и аналого-цифровых ошибок преобразования. Размытость симулирует расфокусированную линзу или перемещение камеры относительно сцены.

Общие операции предварительной обработки изображений включают удаление шума, сглаживание сохранения ребра, преобразование цветового пространства, контрастное улучшение и морфологию.

Если у вас есть Image Processing Toolbox™, то можно обработать данные с помощью этих операций, а также любой другой функциональности в тулбоксе. Для примера, который показывает, как создать и применить эти преобразования, смотрите Изображения Приращения для Рабочих процессов Глубокого обучения Используя Image Processing Toolbox.

Обработка типаОписаниеДемонстрационные функцииДемонстрационный Выход
Измените размер изображенийИзмените размер изображений фиксированным масштабным коэффициентом или к целевому размеру

Деформируйте изображенияПримените случайное отражение, вращение, шкалу, сдвиг и перевод в изображения

Обрежьте изображенияОбрежьте изображение к целевому размеру от центра или случайного положения

Цвет дрожанияСлучайным образом настройте оттенок изображений, насыщение, яркость или контраст

Симулируйте шумДобавьте случайный Гауссов, Пуассон, соль и перец или мультипликативный шум

Симулируйте размытостьДобавьте Гауссову или направленную размытость изображения движущегося объекта

Обнаружение объектов

Данные об обнаружении объектов состоят из поля изображения и ограничительные рамки, которые описывают местоположение и характеристики объектов в изображении.

Если у вас есть Computer Vision Toolbox™, то можно использовать Image Labeler (Computer Vision Toolbox) и приложения Video Labeler (Computer Vision Toolbox), чтобы интерактивно помечать ROI и экспортировать данные о метке для того, чтобы обучить нейронную сеть. Если у вас есть Automated Driving Toolbox™, то вы также используете приложение Ground Truth Labeler (Automated Driving Toolbox), чтобы создать помеченные обучающие данные основной истины.

Когда вы преобразовываете изображение, необходимо выполнить идентичное преобразование к соответствующим ограничительным рамкам. Если у вас есть Computer Vision Toolbox, то можно обработать данные об ограничительной рамке с помощью операций в таблице. Для примера, который показывает, как создать и применить эти преобразования, смотрите Ограничительные рамки Приращения для Обнаружения объектов. Для получения дополнительной информации смотрите Начало работы с Обнаружением объектов Используя Глубокое обучение (Computer Vision Toolbox).

Обработка типаОписаниеДемонстрационные функцииДемонстрационный Выход
Измените размер ограничительных рамокИзмените размер ограничительных рамок фиксированным масштабным коэффициентом или к целевому размеру

Обрежьте ограничительные рамкиОбрежьте ограничительную рамку к целевому размеру от центра или случайного положения

Деформируйте ограничительные рамкиПримените отражение, вращение, шкалу, сдвиг и перевод в ограничительные рамки

Семантическая Сегментация

Данные о семантической сегментации состоят из изображений и соответствующих пиксельных меток, представленных как категориальные массивы.

Если у вас есть Computer Vision Toolbox, то можно использовать Image Labeler (Computer Vision Toolbox) и приложения Video Labeler (Computer Vision Toolbox), чтобы интерактивно помечать пиксели и экспортировать данные о метке для того, чтобы обучить нейронную сеть. Если у вас есть Automated Driving Toolbox, то вы также используете приложение Ground Truth Labeler (Automated Driving Toolbox), чтобы создать помеченные обучающие данные основной истины.

Когда вы преобразовываете изображение, необходимо выполнить идентичное преобразование к соответствующему пикселю помеченное изображение. Если у вас есть Image Processing Toolbox, то можно предварительно обработать пиксельные изображения метки с помощью функций в таблице и любой другой функции тулбокса, которая поддерживает категориальный вход. Для примера, который показывает, как создать и применить эти преобразования, смотрите Пиксельные Метки Приращения для Семантической Сегментации. Для получения дополнительной информации смотрите Начало работы с Семантической Сегментацией Используя Глубокое обучение (Computer Vision Toolbox).

Обработка типаОписаниеДемонстрационные функцииДемонстрационный Выход
Измените размер пиксельных метокИзмените размер пиксельных изображений метки фиксированным масштабным коэффициентом или к целевому размеру

Обрежьте пиксельные меткиОбрежьте пиксельное изображение метки к целевому размеру от центра или случайного положения

Деформируйте пиксельные меткиПримените случайное отражение, вращение, шкалу, сдвиг и перевод в пиксельные изображения метки

Приложения обработки сигналов

Signal Processing Toolbox™ включает, вы к denoise, сглаженному, детрендируете и передискретизируете сигналы. Можно увеличить обучающие данные с шумом, многопутевым исчезновением и синтетическими сигналами, такими как импульсы и щебеты. Можно также создать помеченные наборы сигналов при помощи приложения Signal Labeler (Signal Processing Toolbox) и labeledSignalSet Объект (Signal Processing Toolbox). Для примера, который показывает, как создать и применить эти преобразования, смотрите, что Сегментация Формы волны Использует Глубокое обучение.

Wavelet Toolbox™ и Signal Processing Toolbox позволяют вам сгенерировать 2D представления частоты времени данных временных рядов, которые можно использовать в качестве входных параметров изображений для приложений классификации сигнала. Для примера смотрите, Классифицируют Временные ряды Используя Анализ Вейвлета и Глубокое обучение. Точно так же можно извлечь последовательности из данных сигнала, чтобы использовать в качестве входа для сетей LSTM. Для примера смотрите, Классифицируют Сигналы ECG Используя Длинные Краткосрочные Сети Памяти (Signal Processing Toolbox).

Communications Toolbox™ подробно останавливается на функциональности обработки сигналов, чтобы позволить вам выполнить исправление ошибок, перемежение, модуляцию, фильтрацию, синхронизацию и эквализацию систем связи. Для примера, который показывает, как создать и применить эти преобразования, смотрите Классификацию Модуляций с Глубоким обучением.

Можно обработать данные сигнала с помощью функций в таблице, а также любой другой функциональности в каждом тулбоксе.

Обработка типаОписаниеДемонстрационные функцииДемонстрационный Выход
Чистые сигналы
  • Примените медианную фильтрацию или скользящее среднее значение, чтобы сигнализировать

  • Удалите полиномиальный тренд

  • Передискретизируйте сигнал к новой фиксированной процентной ставке

Отфильтруйте сигналы
  • Выполните lowpass, highpass, и фильтрацию bandstop КИХ-сигналов и БИХ

  • Спроектируйте КИХ-фильтры и БИХ

  • Примените КИХ-фильтры и БИХ

Увеличьте сигналы
  • Добавьте белый Гауссов шум, чтобы сигнализировать об использовании Communications Toolbox

  • Настройте информацию времени сигнала и выполните многопутевое исчезновение с помощью Communications Toolbox

  • Добавьте синтетические щебеты и формы волны

  • awgn (Communications Toolbox)

  • chirp (Signal Processing Toolbox), square (Signal Processing Toolbox), rectpuls (Signal Processing Toolbox), sawtooth (Signal Processing Toolbox)

Создайте представления частоты времениСоздайте спектрограммы, scalograms, и другие 2D представления 1D сигналов
  • pspectrum (Signal Processing Toolbox), xspectrogram (Signal Processing Toolbox)

  • fsst (Signal Processing Toolbox), ifsst (Signal Processing Toolbox)

  • stft (Signal Processing Toolbox), istft (Signal Processing Toolbox)

  • cwt (Wavelet Toolbox)

Извлеките функции из сигналовОцените мгновенную частоту и спектральную энтропию

Приложения обработки аудиоданных

Audio Toolbox™ обеспечивает инструменты для обработки аудиоданных, речевого анализа и акустического измерения. Используйте эти инструменты, чтобы извлечь слуховые функции и преобразовать звуковые сигналы. Увеличьте аудиоданные с рандомизированным или детерминированным временем, масштабировавшись, время, простираясь и перемена подачи. Можно также создать помеченные обучающие данные основной истины при помощи приложения Audio Labeler (Audio Toolbox). Можно обработать аудиоданные с помощью функций в этой таблице, а также любой другой функциональности в тулбоксе. Для примера, который показывает, как создать и применить эти преобразования, смотрите Набор данных Аудио Приращения (Audio Toolbox).

Обработка типаОписаниеДемонстрационные функцииДемонстрационный Выход
Увеличьте аудиоданныеВыполните случайную или детерминированную перемену подачи, модификацию масштаба времени, смещение во времени, шумовое сложение и регулятор громкости

Извлеките функции аудиоИзвлеките спектральные параметры из аудио сегментов

Processed выход:

ans = struct with fields:
                mfcc: [1 2 3 4 5 6 7 8 9 10 11 12 13]
           mfccDelta: [14 15 16 17 18 19 20 21 22 23 24 25 26]
      mfccDeltaDelta: [27 28 29 30 31 32 33 34 35 36 37 38 39]
    spectralCentroid: 40
               pitch: 41

Создайте представления частоты времениСоздайте mel спектрограммы и другие 2D представления звуковых сигналов

Текстовая аналитика

Text Analytics Toolbox™ включает инструменты для обработки необработанного текста из источников, таких как журналы оборудования, ленты новостей, обзоры, отчеты оператора и социальные сети. Используйте эти инструменты, чтобы извлечь текст из популярных файловых форматов, предварительно обработать необработанный текст, извлечь отдельные слова или фразы многословные (N-граммы), преобразовать текст в числовые представления и статистические модели сборки. Вы можете данные о тексте процесса с помощью функций в этой таблице, а также любой другой функциональности в тулбоксе. Для примера, показывающего, как начать, смотрите, Готовят текстовые Данные к Анализу (Text Analytics Toolbox).

Обработка типаОписаниеДемонстрационные функцииДемонстрационный Выход
Маркируйте текст Проанализируйте текст в слова и пунктуацию

Исходный:

"A few tree limbs greater than 6 inches down on HWY 18 in Roseland."

Processed выход:

15 tokens: A few tree limbs greater than 6 inches down on HWY 18 in Roseland .

Чистый текст
  • Удалите изменения словоформ и случая

  • Удалите пунктуацию

  • Удалите слова остановки, короткие слова и длинные слова

Processed выход:

15 tokens: a few tree limb great than 6 inch down on hwy 18 in roseland .

14 tokens: a few tree limb great than 6 inch down on hwy 18 in roseland

8 tokens: few tree limb great inch down hwy roseland

Смотрите также

| | | |

Похожие темы

Для просмотра документации необходимо авторизоваться на сайте