Многоуровневая мелкая архитектура нейронной сети
Эта тема представляет часть типичного многоуровневого мелкого сетевого рабочего процесса. Для получения дополнительной информации и другие шаги, смотрите Многоуровневые Мелкие Нейронные сети и Обучение Обратной связи.
Модель нейрона (logsig, tansig, purelin)
Элементарный нейрон с входными параметрами R показывают ниже. Каждый вход взвешивается с соответствующим w. Сумма взвешенных входных параметров и смещения формирует вход к передаточной функции f. Нейроны могут использовать любую дифференцируемую передаточную функцию f, чтобы сгенерировать их выход.
Многоуровневые сети часто используют сигмоидальную журналом передаточную функцию logsig.
Функция logsig генерирует выходные параметры между 0 и 1, когда сетевой вход нейрона идет от отрицательного до положительной бесконечности.
В качестве альтернативы многоуровневые сети могут использовать коричнево-сигмоидальную передаточную функцию tansig.
Сигмоидальные выходные нейроны часто используются для проблем распознавания образов, в то время как линейные выходные нейроны используются для функции подходящие проблемы. Линейная передаточная функция purelin показан ниже.
Эти три передаточных функции, описанные здесь, являются обычно используемыми передаточными функциями для многоуровневых сетей, но другие дифференцируемые передаточные функции могут создаваться и использоваться при желании.
Нейронная сеть прямого распространения
Одноуровневая сеть S
logsig нейроны, имеющие входные параметры R, показывают ниже в полных деталях слева и со схемой слоя справа.
Сети прямого распространения часто имеют один или несколько скрытых слоев сигмоидальных нейронов, сопровождаемых выходным слоем линейных нейронов. Несколько слоев нейронов с нелинейными передаточными функциями позволяют сети изучать нелинейные отношения между векторами ввода и вывода. Линейный выходной слой чаще всего используется для подбора кривой функции (или нелинейная регрессия) проблемы.
С другой стороны, если вы хотите ограничить выходные параметры сети (такой как между 0 и 1), затем выходной слой должен использовать сигмоидальную передаточную функцию (такой как logsig). Дело обстоит так, когда сеть используется для проблем распознавания образов (в котором решение принимается сетью).
Для многоуровневых сетей номер слоя определяет верхний индекс на матрице веса. Соответствующее обозначение используется в 2D слое tansig/purelin сеть показана затем.
Эта сеть может использоваться в качестве общей функциональной аппроксимации. Это может аппроксимировать любую функцию конечным числом разрывов произвольно хорошо, учитывая достаточные нейроны в скрытом слое.
Теперь, когда архитектура многоуровневой сети была задана, процесс проектирования описан в следующих разделах.