Вейвлет сеть рассеяния позволяет вам вывести с минимальными строениями низкими дисперсионными характеристиками из реальных временных рядов и данных изображений для использования в машинном обучении и применениях глубокого обучения. Функции нечувствительны к перемещениям входа в инвариационной шкале, который вы задаете, и непрерывны относительно деформаций. В 2-D случае функции также нечувствительны к вращениям. Сеть рассеяния использует предопределенные вейвлет-и масштабирующие фильтры.
Маллат, с Бруной и Анденом, стал пионером создания математической среды для изучения сверточных нейронных архитектур [2][3][4][5]. Анден и Лостанлен разработали эффективные алгоритмы вейвлет 1-D сигналов [4] . [6]Ойаллон разработал эффективные алгоритмы рассеяния 2-D [7]. Andén, Lostanlen и Oyallon являются основными участниками программного обеспечения ScatNet [10] и Kymatio [11] для вычисления преобразований рассеяния.
Маллат и другие охарактеризовали три свойства, которыми архитектурами обладать глубокое обучение для извлечения полезных функций из данных:
Многомасштабные сужения
Линеаризация иерархических симметрий
Разреженные представления
Вейвлет-рассеивающая сеть проявляет все эти свойства. Вейвлет линеаризируют небольшие деформации, такие как расширения путем разделения изменений на различные шкалы. Для многих естественных сигналов вейвлет также обеспечивает разреженное представление. Путем объединения вейвлет с другими функциями рассеивающей сети, описанными ниже, преобразование рассеяния создает представления данных, которые минимизируют различия внутри класса с сохранением различимости между классами. Важным различием между преобразованием рассеяния и нейронными сетями для глубокого обучения является то, что фильтры заданы априори в отличие от обучения. Поскольку преобразование рассеяния не требуется, чтобы узнать ответы фильтра, вы часто можете успешно использовать рассеяние в ситуациях, когда существует нехватка обучающих данных.
Вейвлет рассеяния обрабатывает данные поэтапно. Выход одного каскада становится входом для следующего каскада. Каждый этап состоит из трех операций.
Коэффициенты рассеяния нулевого порядка вычисляются простым усреднением входа. Вот древовидное представление алгоритма:
являются вейвлетами, является функцией масштабирования, и - входные данные. В случае данных изображения, для каждого Существует несколько пользовательских вращений вейвлета. Последовательность ребер от корня до узла упоминается как путь. Узлы дерева являются коэффициентами скалограммы. Коэффициенты рассеяния являются коэффициентами скалограммы, свернутыми с функцией масштабирования . Набор коэффициентов рассеяния является низкими дисперсионными функциями, выведенными из данных. Сверткой с функцией масштабирования является lowpass, и информация теряется. Однако информация восстанавливается при вычислении коэффициентов на следующем этапе.
Чтобы извлечь функции из данных, сначала используйте waveletScattering (для временных рядов) или waveletScattering2 (для данных), чтобы создать и сконфигурировать сеть. Параметры, которые вы установили, включают размер шкалы инвариации, количество банков фильтров и количество вейвлеты на октаву в каждой группе фильтров. В waveletScattering2 можно также задать количество вращений на вейвлет. Чтобы вывести функции из временных рядов, используйте waveletScattering функции объекта scatteringTransform или featureMatrix. Чтобы вывести функции из данных изображения, используйте waveletScattering2 функции объекта scatteringTransform или featureMatrix.
Преобразование рассеяния генерирует функции итеративным способом. Во-первых, вы свертываете данные с помощью функции масштабирования, для получения S [0], коэффициентов рассеяния нулевого порядка. Далее выполните следующие действия:
Возьмите вейвлет входных данных с каждым вейвлет в первой группе фильтров.
Возьмите модуль каждого из отфильтрованных выходов. Узлы являются скалограммой U [1].
Среднее значение каждого из модулей с масштабирующим фильтром. Результатами являются коэффициенты рассеяния первого порядка, S [1].
Повторите процесс в каждом узле.
scatteringTransform функция возвращает коэффициенты рассеяния и скалограммы. featureMatrix функция возвращает функции рассеяния. Оба выходов могут быть легко использованы с помощью алгоритмов обучения, как показано в Wavelet Time Scattering для классификации сигналов ECG или классификации текстур с рассеянием изображений вейвлет.
Масштабный фильтр играет решающую роль в сети вейвлет. Когда вы создаете вейвлет, вы задаете шкалу инвариации. Сеть инвариантна преобразованиям до инвариантной шкалы. Поддержка функции масштабирования определяет размер инварианта во времени или пространстве.
Для данных временных рядов шкала инвариации является длительностью. Временная поддержка функции масштабирования не превышает размер инварианта. Этот график показывает поддержку функции масштабирования в сети с инвариантной шкалой в две секунды и частотой дискретизации 100 Гц. Также показаны действительная и мнимая части наиболее грубого вейвлета из первой группы фильтров. Наблюдайте, что время поддержки функций не превышает двух секунд.
Шкала инвариации также влияет на интервалы между центральными частотами вейвлетов в блоках фильтров. В банке фильтров, созданном cwtfilterbank, частоты центра полосы пропускания логарифмически разнесены, и полосы пропускания вейвлеты уменьшаются с центральной частотой.
В сети рассеяния, однако, поддержка времени вейвлета не может превысить шкалу инвариации. Это свойство проиллюстрировано в самой грубой шкале вейвлета графика. Частоты ниже инвариантной шкалы линейно разнесены с масштабом, удерживаемым постоянным, так что размер инварианта не превышен. Следующий график показывает центральные частоты вейвлетов в первой группе фильтров в сети рассеяния. Центральные частоты нанесены на линейные и логарифмические шкалы. Обратите внимание на логарифмический интервал более высоких центральных частот и линейный интервал нижних центральных частот.
Для данных изображения инвариационная шкала задает N -by N пространственную поддержку в пикселях масштабирующего фильтра. Для примера по умолчанию waveletScattering2 функция создает сеть рассеяния вейвлет для размера изображения 128 на 128 и шкалы инвариации 64. Следующая объемная поверхностная диаграмма показывает функцию масштабирования, используемую в сети. Пересекающиеся красные линии образуют квадрат 64 на 64.
При создании вейвлета, в дополнение к инвариационной шкале, вы также устанавливаете факторы качества для банков рассеивающих фильтров. Коэффициент качества для каждой группы фильтров является количеством вейвлет на октаву. Вейвлет дискретизирует шкалы с помощью заданного количества вейвлет.
Этот график показывает вейвлет в сети, созданные waveletScattering. Шкала инвариации составляет одну секунду, и частота дискретизации составляет 200 Гц. Первая группа фильтров имеет значение качества по умолчанию 8, а вторая группа фильтров имеет коэффициент качества по умолчанию 1.
Для данных изображений большие факторы качества не требуются. Большие значения также приводят к значительным вычислительным накладным расходам. По умолчанию waveletScattering2 создает сеть с двумя банками фильтров каждый с коэффициентом качества 1. Этот график показывает центральные частоты вейвлетов для сети рассеяния вейвлет-изображений с двумя банками фильтров. Первый блок фильтров имеет коэффициент качества 2, а второй блок фильтров имеет коэффициент качества 1. Количество оборотов на группу фильтров составляет 6.
При правильном выборе вейвлетов преобразование рассеяния является невыразительным. Энергия рассеивается, когда вы итератируете через сеть. Когда порядок <reservedrangesplaceholder1> увеличивается, энергия mth-упорядочение коэффициентов скалограммы и коэффициентов рассеяния быстро сходится к 0 [3]. Рассеивание энергии имеет практическое преимущество. Можно ограничить количество банков вейвлет в сети с минимальной потерей энергии сигнала. Опубликованные результаты показывают, что энергия коэффициентов рассеяния третьего порядка может опуститься ниже одного процента. Для большинства приложений достаточно сети с двумя банками вейвлет.
Рассмотрим древовидное представление сети вейвлет рассеяния. Предположим, что в первой группе фильтров M вейвлетов и N вейвлетов во второй группе фильтров. Количество вейвлета фильтров в каждой группе фильтров не должно быть большим, прежде чем наивная реализация станет невозможной. Эффективные реализации используют преимущества lowpass природы функции модуля и критически понижают коэффициенты рассеяния и скалограммы. Эти стратегии были введены впервые Andén, Mallat, Lostanlen и [4]
Oyallon , чтобы [6]
сделать [7]рассеивание, преобразовывают в вычислительном отношении практичный, поддерживая их способность произвести представления данных низкого отклонения для изучения. По умолчанию waveletScattering и waveletScattering2 создать сети, которые критически понижают значения коэффициентов.
[1] LeCun, Y., B. Boser, J. S. Denker, D. Henderson, R. E. Howard, W. Hubbard, and L. D. Jackel. «Распознавание рукописных цифр в сети обратного распространения». В усовершенствованиях нейронных систем обработки информации (NIPS 1989) (Д. Туретцки, изд.). 396–404. Denver, CO: Morgan Kaufmann, Vol 2, 1990.
[2] Mallat, S. «Group Invariant Scattering». Коммуникации в чистой и прикладной математике. Том 65, № 10, 2012, с. 1331-1398.
[3] Бруна, Дж., и С. Маллат. «Инвариантные сети свертки рассеяния». Транзакции IEEE по шаблонному анализу и машинному анализу. Том 35, № 8, 2013, с. 1872-1886.
[4] Andén, J., and S. Mallat. «Глубокое рассеяние Спектра». Транзакции IEEE по обработке сигналов. Том 62, № 16, 2014, стр. 4114-4128.
[5] Mallat, S. «Понимание глубоких сверточных сетей». Философские сделки Королевского общества А. Том 374:20150203, 2016, стр. 1-16. dx.doi.org/10.1098/rsta.2015.0203.
[6] Lostanlen, V. Scattering.m - тулбокс MATLAB для вейвлет. https://github.com/lostanlen/scattering.m.
[7] Ояллон, Эдуар. Веб-страница Эдуарда Ояллона. https://edouardoyallon.github.io/.
[8] Sifre, L., and S. Mallat. «Твердое рассеяние движения для классификации текстур». arXiv препринт. 2014, стр 1–19. https://arxiv.org/abs/1403.1687.
[9] Sifre, L., and S. Mallat. «Вращение, масштабирование и деформация инвариантного рассеяния для дискриминации текстур». 2013 IEEE Conference on Компьютерное Зрение and Pattern Recognition. 2013, стр. 1233-1240.
[10] ScatNet. https://www.di.ens.fr/data/software/scatnet/.
[11] Кыматио. https://www.kymat.io/.
waveletScattering | waveletScattering2
