Многоуровневая мелкая архитектура нейронной сети
Эта тема представляет часть типичного многоуровневого мелкого сетевого рабочего процесса. Для получения дополнительной информации и другие шаги, смотрите Многоуровневые Мелкие Нейронные сети и Обучение Обратной связи.
Модель нейрона (logsig, tansig, purelin)
Элементарный нейрон с входными параметрами R показывают ниже. Каждый вход взвешивается с соответствующим w. Сумма взвешенных входных параметров и смещения формирует вход к передаточной функции f. Нейроны могут использовать любую дифференцируемую передаточную функцию f, чтобы сгенерировать их вывод.
Многоуровневые сети часто используют сигмоидальную журналом передаточную функцию logsig.
Функциональный logsig генерирует выходные параметры между 0 и 1, когда сетевой вход нейрона идет от отрицательного до положительной бесконечности.
Также многоуровневые сети могут использовать коричнево-сигмоидальную передаточную функцию tansig.
Сигмоидальные выходные нейроны часто используются для проблем распознавания образов, в то время как линейные выходные нейроны используются для функции подходящие проблемы. Линейную передаточную функцию purelin показывают ниже.
Эти три передаточных функции, описанные здесь, являются обычно используемыми передаточными функциями для многоуровневых сетей, но другие дифференцируемые передаточные функции могут создаваться и использоваться при желании.
Нейронная сеть Feedforward
Одноуровневую сеть S
нейроны logsig, имеющие входные параметры R, показывают ниже в полных деталях слева и со схемой слоя справа.
Сети Feedforward часто имеют один или несколько скрытых слоев сигмоидальных нейронов, сопровождаемых выходным слоем линейных нейронов. Несколько слоев нейронов с нелинейными передаточными функциями позволяют сети изучать нелинейные отношения между векторами ввода и вывода. Линейный выходной слой чаще всего используется для подбора кривой функции (или нелинейная регрессия) проблемы.
С другой стороны, если вы хотите ограничить выходные параметры сети (такой как между 0 и 1), затем выходной слой должен использовать сигмоидальную передаточную функцию (такую как logsig). Дело обстоит так, когда сеть используется для проблем распознавания образов (в котором решение принимается сетью).
Для многоуровневых сетей номер слоя определяет верхний индекс на матрице веса. Соответствующее обозначение используется в 2D слое tansig/purelin сеть, показанная затем.
Эта сеть может использоваться в качестве общей функции approximator. Это может аппроксимировать любую функцию с конечным числом разрывов произвольно хорошо, учитывая достаточные нейроны в скрытом слое.
Теперь, когда архитектура многоуровневой сети была задана, процесс проектирования описан в следующих разделах.