В этом разделе представлена часть типичного многоуровневого неглубокого сетевого рабочего процесса. Дополнительные сведения и другие шаги см. в разделе Многоуровневые неглубокие нейронные сети и обучение обратному распространению.
Элементарный нейрон с R входами показан ниже. Каждый вход взвешивается с соответствующей w. Сумма взвешенных входов и смещения формирует вход в передаточную функцию f. Нейроны могут использовать любую дифференцируемую передаточную функцию f для генерации своего выхода.
Многоуровневые сети часто используют функцию log-sigmoid transfer logsig.
Функция logsig генерирует выходы между 0 и 1, так как сетевой вход нейрона переходит из отрицательной в положительную бесконечность.
В качестве альтернативы, многослойные сети могут использовать передаточную функцию tan-sigmoid. tansig.
Сигмоидные выходные нейроны часто используются для проблем распознавания образов, в то время как линейные выходные нейроны используются для проблем подгонки функций. Линейная передаточная функция purelin показано ниже.
Описанные здесь три передаточные функции являются наиболее часто используемыми передаточными функциями для многослойных сетей, но при необходимости могут быть созданы и использованы другие дифференцируемые передаточные функции.
Одноуровневая сеть S
logsig нейроны, имеющие R входов, показаны ниже подробно слева и со схемой слоев справа.
Сети прямой связи часто имеют один или несколько скрытых слоев сигмоидных нейронов, за которыми следует выходной слой линейных нейронов. Множественные слои нейронов с нелинейными передаточными функциями позволяют сети изучать нелинейные отношения между входным и выходным векторами. Линейный выходной слой чаще всего используется для задач подгонки функций (или нелинейной регрессии).
С другой стороны, если вы хотите ограничить выходы сети (например, между 0 и 1), то выходной уровень должен использовать сигмоидальную передаточную функцию (например, logsig). Это тот случай, когда сеть используется для проблем распознавания образов (при котором решение принимается сетью).
Для многоуровневых сетей номер слоя определяет верхний индекс весовой матрицы. Соответствующая нотация используется в двухслойном tansig/purelin сеть, показанная далее.
Эта сеть может использоваться в качестве аппроксиматора общей функции. Он может аппроксимировать любую функцию с конечным числом разрывов произвольно хорошо, учитывая достаточное количество нейронов в скрытом слое.
Теперь, когда архитектура многоуровневой сети определена, процесс проектирования описан в следующих разделах.