Вы обычно использовали бы обучение Levenberg-Marquardt малым и средним сетям размера, если вы имеете достаточно памяти в наличии. Если память является проблемой, то существует множество других доступных алгоритмов FAST. Для больших сетей вы, вероятно, захотите использовать trainscg или trainrp.
Многоуровневые сети способны к выполнению примерно любого линейного или нелинейного расчета, и они могут аппроксимировать любую разумную функцию произвольно хорошо. Однако, в то время как сеть, обученная сила теоретически быть способной к выполнению правильно, обратной связи и ее изменениям, не может всегда находить решение. Смотрите страницу 12-8 [HDB96] для обсуждения сходимости к локальным минимальным точкам.
Ошибочная поверхность нелинейной сети является более комплексной, чем ошибочная поверхность линейной сети. Чтобы изучить эту сложность, смотрите фигуры на страницах 12-5 к 12-7 из [HDB96], которые показывают три различных ошибочных поверхности для многоуровневой сети. Проблема состоит в том, что нелинейные передаточные функции в многоуровневых сетях вводят много локальных минимумов на ошибочной поверхности. Когда градиентный спуск выполняется на ошибочной поверхности, в зависимости от начальных стартовых условий, это возможно для сетевого решения стать захваченным в одном из этих локальных минимумов. Урегулирование в локальном минимуме может быть хорошим или плохим в зависимости от того, как близко локальный минимум к глобальному минимуму и как низко ошибка требуется. В любом случае предостерегите, что несмотря на то, что многоуровневая сеть обратной связи с достаточными нейронами может реализовать примерно любую функцию, обратная связь не всегда находит правильные веса для оптимального решения. Вы можете хотеть повторно инициализировать сеть и переобучиться несколько раз, чтобы гарантировать, что у вас есть лучшее решение.
Сети также чувствительны к количеству нейронов в их скрытых слоях. Слишком мало нейронов может привести к underfitting. Слишком много нейронов могут способствовать сверхподбору кривой, в котором хорошо адаптированы все учебные точки, но подходящая кривая колеблется дико между этими точками. Способы иметь дело с различными из этих проблем обсуждены в, Улучшают Мелкое Обобщение Нейронной сети и Стараются не Сверхсоответствовать. Эта тема также обсуждена, начав на странице 11-21 [HDB96].
Для получения дополнительной информации о рабочем процессе с многоуровневыми сетями, смотрите Многоуровневые Мелкие Нейронные сети и Обучение Обратной связи.