Документация

Набор данных SIN

Первый набор данных бенчмарка является простым приближением функций проблемой. A 1-5-1 сеть, с tansig передаточные функции в скрытом слое и линейная передаточная функция в выход слое используются, чтобы аппроксимировать один период синусоиды. В следующей таблице представлены результаты настройки сети с использованием девяти различных алгоритмов настройки. Каждая запись в таблице представляет 30 различных испытаний, где различные случайные начальные веса используются в каждом испытании. В каждом случае сеть обучается до тех пор, пока квадратичная невязка не станет меньше 0,002. Самым быстрым алгоритмом для этой задачи является алгоритм Левенберга-Марквардта. В среднем он более чем в четыре раза быстрее, чем следующий самый быстрый алгоритм. Это тип задачи, для которой лучше всего подходит алгоритм LM - приближение функций задача, где сеть имеет менее ста весов, и приближение должно быть очень точным.

На эффективность различных алгоритмов может повлиять точность, необходимая для приближения. Это показано на следующем рисунке, которая строит графики средней квадратной ошибки в зависимости от времени выполнения (в среднем за 30 испытаний) для нескольких репрезентативных алгоритмов. Здесь можно увидеть, что ошибка в алгоритме LM уменьшается гораздо быстрее со временем, чем другие показанные алгоритмы.

Связь между алгоритмами дополнительно проиллюстрирована на следующем рисунке, на котором строится график времени, необходимого для сходимости в зависимости от цели сходимости среднеквадратичных ошибок. Здесь можно увидеть, что, когда цель ошибки уменьшается, улучшение, предоставляемое алгоритмом LM, становится более выраженным. Некоторые алгоритмы работают лучше, когда цель ошибки уменьшена (LM и BFG), а другие алгоритмы ухудшаются, когда цель ошибки уменьшается (OSS и GDX).

Набор данных четности

Вторая задача бенчмарка - задача распознавания простого шаблона - обнаружить четность 3-битного числа. Если количество таковых в шаблоне входа нечетно, то сеть должна выводить 1; в противном случае это должно привести к значению -1. Для этой задачи используется сеть 3-10-10-1 с нейронами тансига в каждом слое. В следующей таблице представлены результаты настройки этой сети с помощью девяти различных алгоритмов. Каждая запись в таблице представляет 30 различных испытаний, где различные случайные начальные веса используются в каждом испытании. В каждом случае сеть обучается до тех пор, пока квадратичная невязка не станет меньше 0,001. Самый быстрый алгоритм для этой задачи является алгоритмом упругого обратного распространения, хотя сопряженные алгоритмы градиента (в частности, масштабированный алгоритм сопряженного градиента) почти так же быстро. Заметьте, что алгоритм LM плохо работает с этой проблемой. В целом алгоритм LM не так хорошо работает с задачами распознавания шаблона, как с задачами приближения функций. Алгоритм LM разработан для задач методом наименьших квадратов, которые являются приблизительно линейными. Поскольку выходные нейроны в задачах распознавания шаблонов обычно насыщены, вы не будете работать в линейной области.

Как и в случае приближения функций проблем, на эффективность различных алгоритмов может влиять точность, необходимая для сети. Это показано на следующем рисунке, на котором строится график средней квадратной ошибки в зависимости от времени выполнения для некоторых типичных алгоритмов. Алгоритм LM быстро сходится после некоторой точки, но только после того, как другие алгоритмы уже сходятся.

Связь между алгоритмами дополнительно проиллюстрирована на следующем рисунке, на котором строится график времени, необходимого для сходимости в зависимости от цели сходимости среднеквадратичных ошибок. Снова можно увидеть, что некоторые алгоритмы деградируют, когда цель ошибки уменьшается (OSS и BFG).

Набор данных ENGINE

Третья задача бенчмарка является реалистичной задачей приближения функций (или нелинейной регрессии). Данные получаются от операции двигателя. Входами в сеть являются скорость вращения двигателя и уровни заправки, а выходами сети являются крутящий момент и уровни выбросов. Для этой задачи используется сеть 2-30-2 с нейронами тансига в скрытом слое и линейными нейронами в выход слое. В следующей таблице представлены результаты настройки этой сети с помощью девяти различных алгоритмов. Каждая запись в таблице представляет 30 различных испытаний (10 испытаний для RP и GDX из-за временных ограничений), где различные случайные начальные веса используются в каждом исследовании. В каждом случае сеть обучается до тех пор, пока квадратичной невязки не будет меньше 0,005. Самым быстрым алгоритмом для этой задачи является алгоритм LM, за которым следуют алгоритм BFGS квази-Ньютона и сопряженные алгоритмы градиента. Несмотря на то, что это задача приближения функций, алгоритм LM не так явно превосходен, как на наборе данных SIN. В этом случае количество весов и смещений в сети намного больше, чем используемое в задаче SIN (152 против 16), и преимущества алгоритма LM уменьшаются по мере увеличения количества сетевых параметров.

Следующий рисунок строит графики средней квадратной ошибки в зависимости от времени выполнения для некоторых типичных алгоритмов. Эффективность алгоритма LM улучшается со временем относительно других алгоритмов.

Связь между алгоритмами дополнительно проиллюстрирована на следующем рисунке, на котором строится график времени, необходимого для сходимости в зависимости от цели сходимости среднеквадратичных ошибок. Снова можно увидеть, что некоторые алгоритмы деградируют, когда цель ошибки уменьшается (GDX и RP), в то время как алгоритм LM улучшается.

Набор данных CANCER

Четвёртая задача бенчмарка является реалистичной задачей распознавания шаблонов (или нелинейного дискриминантного анализа). Цель сети состоит в том, чтобы классифицировать опухоль как доброкачественную или злокачественную на основе описаний камер, собранных микроскопическим исследованием. Входные атрибуты включают толщину комка, однородность размера камеры и формы камеры, количество маргинальной адгезии и частоту голых ядер. Данные были получены из больниц Висконсинского университета, Мэдисон, от доктора Уильяма Х. Вольберга. Сеть, используемая для этой задачи, является сетью 9-5-5-2 с нейронами тансига во всех слоях. В следующей таблице представлены результаты настройки этой сети с помощью девяти различных алгоритмов. Каждая запись в таблице представляет 30 различных испытаний, где различные случайные начальные веса используются в каждом испытании. В каждом случае сеть обучается до тех пор, пока квадратичная невязка не станет меньше 0,012. Нескольким запуски не удалось сходиться для некоторых алгоритмов, поэтому для получения статистики использовались только 75% лучших запусков от каждого алгоритма.

Сопряженные алгоритмы градиента и упругое обратное распространение все обеспечивают быструю сходимость, и алгоритм LM также достаточно быстро. Как и с набором данных четности, алгоритм LM не так хорошо работает с задачами распознавания шаблона, как с задачами приближения функций.

Следующий рисунок строит графики средней квадратной ошибки в зависимости от времени выполнения для некоторых типичных алгоритмов. Для этой задачи существует не столько изменение в эффективность, сколько в предыдущих задачах.

Связь между алгоритмами дополнительно проиллюстрирована на следующем рисунке, на котором строится график времени, необходимого для сходимости в зависимости от цели сходимости среднеквадратичных ошибок. Снова можно увидеть, что некоторые алгоритмы ухудшаются, когда цель ошибки уменьшается (OSS и BFG), в то время как алгоритм LM улучшается. Для алгоритма LM в любой задаче характерно, что его эффективность улучшается относительно других алгоритмов, когда цель ошибки уменьшается.

Набор данных ХОЛЕСТЕРИНА

Пятая задача бенчмарка является реалистичной задачей приближения функций (или нелинейной регрессии). Цель сети состоит в том, чтобы предсказать уровни холестерина (ldl, hdl и vldl) на основе измерений 21 спектрального компонента. Данные были получены от доктора Нила Пурди, химический факультет Университета штата Оклахома [PuLu92]. Сеть, используемая для этой задачи, является сетью 21-15-3 с нейронами тансига в скрытых слоях и линейными нейронами в выход слое. В следующей таблице представлены результаты настройки этой сети с помощью девяти различных алгоритмов. Каждая запись в таблице представляет 20 различных испытаний (10 испытаний для RP и GDX), где различные случайные начальные веса используются в каждом исследовании. В каждом случае сеть обучается до тех пор, пока квадратичная невязка не станет меньше 0,027.

Масштабированный алгоритм сопряженного градиента имеет лучшую эффективность в этой задаче, хотя все сопряженные алгоритмы градиента работают хорошо. Алгоритм LM не так хорошо работает с этой задачей приближения функций, как с другими двумя. Это связано с тем, что количество весов и смещений в сети снова увеличилось (378 против 152 против 16). Когда количество параметров увеличивается, расчеты, необходимые в алгоритме LM, увеличиваются геометрически.

Следующий рисунок строит графики средней квадратной ошибки в зависимости от времени выполнения для некоторых типичных алгоритмов. Для этой задачи можно увидеть, что алгоритм LM способен привести среднюю квадратную ошибку к более низкому уровню, чем другие алгоритмы. Алгоритмы SCG и RP обеспечивают самое быстрое начальное сходимость.

Связь между алгоритмами дополнительно проиллюстрирована на следующем рисунке, на котором строится график времени, необходимого для сходимости в зависимости от цели сходимости среднеквадратичных ошибок. Вы можете увидеть, что алгоритмы LM и BFG улучшаются относительно других алгоритмов, когда цель ошибки уменьшается.

Набор данных о диабете

Шестая задача бенчмарка является задачей распознавания шаблонов. Цель сети состоит в том, чтобы решить, есть ли у индивидуум диабет, на основе личных данных (возраст, количество беременных) и результатов медицинских обследований (например, артериальное давление, индекс массы тела, результат теста допуска к глюкозе и т. Д.). Данные были получены из основы данных машинного обучения Калифорнийского университета в Ирвине. Сеть, используемая для этой задачи, является сетью 8-15-15-2 с нейронами тансига во всех слоях. В следующей таблице представлены результаты настройки этой сети с помощью девяти различных алгоритмов. Каждая запись в таблице представляет 10 различных испытаний, где различные случайные начальные веса используются в каждом испытании. В каждом случае сеть обучается до тех пор, пока квадратичная невязка не станет меньше 0,05.

Сопряженные алгоритмы градиента и упругое обратное распространение все обеспечивают быструю сходимость. Результаты по этой проблеме согласуются с другими рассмотренными проблемами распознавания шаблонов. Алгоритм RP хорошо работает со всеми проблемами распознавания шаблонов. Это разумно, потому что тот алгоритм был разработан, чтобы преодолеть трудности, вызванные тренировкой с сигмоидными функциями, которые имеют очень маленькие склоны при работе далеко от центральной точки. Для задач распознавания шаблона вы используете сигмоидные передаточные функции в выход слое, и вы хотите, чтобы сеть работала на хвостах сигмоидной функции.

Следующий рисунок строит графики средней квадратной ошибки в зависимости от времени выполнения для некоторых типичных алгоритмов. Как и в случае с другими проблемами, вы видите, что SCG и RP имеют быструю начальную сходимость, в то время как алгоритм LM способен обеспечить меньшую конечную ошибку.

Связь между алгоритмами дополнительно проиллюстрирована на следующем рисунке, на котором строится график времени, необходимого для сходимости в зависимости от цели сходимости среднеквадратичных ошибок. В этом случае можно увидеть, что алгоритм BFG ухудшается, когда цель ошибки уменьшается, в то время как алгоритм LM улучшается. Алгоритм RP лучше всего, кроме самой маленькой цели ошибки, где SCG лучше.

Сводные данные

Существует несколько характеристик алгоритма, которые могут быть выведены из описанных экспериментов. В целом, по приближению функций задачам для сетей, которые содержат до нескольких сотен весов, алгоритм Левенберга-Марквардта будет иметь самую быструю сходимость. Это преимущество особенно заметно, если требуется очень точная подготовка. Во многих случаях, trainlm способен получить более низкие средние квадратные ошибки, чем любой из других протестированных алгоритмов. Однако, когда количество весов в сети увеличивается, преимущество trainlm уменьшается. В сложение, trainlm эффективность относительно низкая при задачах распознавания шаблонов. Требования к хранению trainlm больше, чем другие проверенные алгоритмы.

trainrp функция является самым быстрым алгоритмом в задачах распознавания шаблонов. Однако он плохо работает на приближении функций задачах. Его эффективность также ухудшается, когда цель ошибки уменьшается. Требования к памяти для этого алгоритма относительно малы по сравнению с другими рассмотренными алгоритмами.

Сопряженные алгоритмы градиента, в частности trainscg, по-видимому, хорошо работает над широким спектром проблем, особенно для сетей с большим количеством весов. Алгоритм SCG почти так же быстро, как и алгоритм LM при приближении функций задачах (быстрее для больших сетей) и почти так же быстро, как trainrp по проблемам распознавания шаблонов. Его эффективность не ухудшается так быстро, как trainrp эффективность происходит, когда ошибка уменьшается. Сопряженные алгоритмы градиента имеют относительно скромные требования к памяти.

Область эффективности trainbfg аналогично тому, как trainlm. Для этого не требуется столько памяти, сколько trainlm, но требуемый расчет действительно увеличивается геометрически с размером сети, потому что эквивалент обратной матрицы должен быть вычислен при каждой итерации.

Алгоритм переменной скорости обучения traingdx обычно намного медленнее, чем другие методы, и имеет примерно те же требования к хранению, что и trainrpно это все еще может быть полезно для некоторых проблем. Существуют определенные ситуации, в которых лучше сходиться медленнее. Например, при использовании ранней остановки у вас могут быть несогласованные результаты, если вы используете алгоритм, который сходится слишком быстро. Можно перерегулировать точку, в которой ошибка на наборе валидации минимизирована.