Документация

Набор данных SIN

Первый набор исходных данных является простой проблемой приближения функций. 1-5-1 сеть, с передаточными функциями tansig в скрытом слое и линейной передаточной функцией в выходном слое, используется, чтобы аппроксимировать один период синусоиды. Следующая таблица обобщает результаты обучения сеть с помощью девяти различных учебных алгоритмов. Каждая запись в таблице представляет 30 различных испытаний, где различные случайные начальные веса используются в каждом испытании. В каждом случае обучена сеть, пока квадратичная невязка не меньше чем 0,002. Самый быстрый алгоритм для этой проблемы является алгоритмом Levenberg-Marquardt. В среднем это более чем в четыре раза быстрее, чем следующий самый быстрый алгоритм. Это - тип проблемы, для которой алгоритм LM подходит лучше всего — проблема приближения функций, где сеть имеет меньше чем сто весов, и приближение должно быть очень точным.

Производительность различных алгоритмов может быть затронута точностью, требуемой приближения. Это показывают в следующей фигуре, которая строит среднеквадратичную погрешность по сравнению со временем выполнения (усредненный по 30 испытаниям) для нескольких представительных алгоритмов. Здесь вы видите, что ошибка в алгоритме LM уменьшается намного более быстро со временем, чем другие показанные алгоритмы.

Отношение между алгоритмами далее проиллюстрировано в следующей фигуре, которая строит время, требуемое сходиться по сравнению с целью сходимости среднеквадратичной погрешности. Здесь вы видите, что, когда ошибочная цель уменьшается, улучшение, обеспеченное алгоритмом LM, становится более явным. Некоторые алгоритмы выполняют лучше, когда ошибочная цель уменьшается (LM и BFG), и другие алгоритмы ухудшаются, когда ошибочная цель уменьшается (OSS и GDX).

Набор КОНТРОЛЬНЫХ ДАННЫХ

Вторая эталонная тестовая задача является простой проблемой распознавания образов — обнаруживают четность 3-битного номера. Если количество единиц во входном наборе нечетно, то сеть должна вывести 1; в противном случае это должно вывести-1. Сеть, используемая для этой проблемы, является 3-10-10-1 сетью с tansig нейронами в каждом слое. Следующая таблица обобщает результаты обучения этой сети с девятью различными алгоритмами. Каждая запись в таблице представляет 30 различных испытаний, где различные случайные начальные веса используются в каждом испытании. В каждом случае обучена сеть, пока квадратичная невязка не меньше чем 0,001. Самый быстрый алгоритм для этой проблемы является эластичным алгоритмом обратного распространения, несмотря на то, что алгоритмы метода сопряженных градиентов (в частности, масштабированный алгоритм метода сопряженных градиентов) почти как быстро. Заметьте, что алгоритм LM не выполняет хорошо на этой проблеме. В целом алгоритм LM не выполняет также на проблемах распознавания образов, как он делает на проблемах приближения функций. Алгоритм LM разработан для проблем наименьших квадратов, которые приблизительно линейны. Поскольку выходные нейроны в проблемах распознавания образов обычно насыщаются, вы не будете действовать в линейной области.

Как с проблемами приближения функций, производительность различных алгоритмов может быть затронута точностью, требуемой сети. Это показывают в следующей фигуре, которая строит среднеквадратичную погрешность по сравнению со временем выполнения для некоторых типичных алгоритмов. Алгоритм LM сходится быстро после некоторой точки, но только после того, как другие алгоритмы уже сходились.

Отношение между алгоритмами далее проиллюстрировано в следующей фигуре, которая строит время, требуемое сходиться по сравнению с целью сходимости среднеквадратичной погрешности. Снова вы видите, что некоторые алгоритмы ухудшаются, когда ошибочная цель уменьшается (OSS и BFG).

Набор данных ENGINE

Третья эталонная тестовая задача является реалистическим приближением функций (или нелинейная регрессия) проблема. Данные получены из работы механизма. Входные параметры к сети являются скоростью вращения двигателя и уровнями заправки, и сетевые выходные параметры являются крутящим моментом и уровнями выбросов. Сеть, используемая для этой проблемы, является 2-30-2 сетями с tansig нейронами в скрытом слое и линейными нейронами в выходном слое. Следующая таблица обобщает результаты обучения этой сети с девятью различными алгоритмами. Каждая запись в таблице представляет 30 различных испытаний (10 испытаний за RP и GDX из-за ограничений времени), где различные случайные начальные веса используются в каждом испытании. В каждом случае обучена сеть, пока квадратичная невязка не меньше чем 0,005. Самый быстрый алгоритм для этой проблемы является алгоритмом LM, несмотря на то, что алгоритм квазиньютона BFGS и алгоритмы метода сопряженных градиентов (масштабированный алгоритм метода сопряженных градиентов в частности) почти как быстро. Несмотря на то, что это - проблема приближения функций, алгоритм LM не как ясно выше, как это было на наборе данных SIN. В этом случае количество весов и смещений в сети намного больше, чем та, используемая на проблеме SIN (152 по сравнению с 16), и преимущества уменьшения алгоритма LM как количество сетевых увеличений параметров.

Следующая фигура строит среднеквадратичную погрешность по сравнению со временем выполнения для некоторых типичных алгоритмов. Производительность алгоритма LM улучшается в зависимости от времени относительно других алгоритмов.

Отношение между алгоритмами далее проиллюстрировано в следующей фигуре, которая строит время, требуемое сходиться по сравнению с целью сходимости среднеквадратичной погрешности. Снова вы видите, что некоторые алгоритмы ухудшаются, когда ошибочная цель уменьшается (GDX и RP), в то время как алгоритм LM улучшается.

Набор данных CANCER

Четвертая эталонная тестовая задача является реалистическим распознаванием образов (или нелинейный дискриминантный анализ) проблема. Цель сети состоит в том, чтобы классифицировать опухоль или как мягкую или как злостную на основе описаний ячейки, собранных микроскопическим исследованием. Входные атрибуты включают толщину глыбы, однородность размера ячейки и формы ячейки, суммы крайней адгезии и частоты пустых ядер. Данные были получены из Больниц Висконсинского университета, Мадисон, от доктора Вильгельма Х. Вольберга. Сеть, используемая для этой проблемы, является 9-5-5-2 сетями с tansig нейронами во всех слоях. Следующая таблица обобщает результаты обучения этой сети с девятью различными алгоритмами. Каждая запись в таблице представляет 30 различных испытаний, где различные случайные начальные веса используются в каждом испытании. В каждом случае обучена сеть, пока квадратичная невязка не меньше чем 0,012. Нескольким выполнениям не удалось сходиться для некоторых алгоритмов, поэтому только лучшие 75% выполнений из каждого алгоритма использовались, чтобы получить статистику.

Алгоритмы метода сопряженных градиентов и устойчивая обратная связь, которую все обеспечивают быстрой сходимости и алгоритму LM, также довольно быстры. Как с набором контрольных данных, алгоритм LM не выполняет также на проблемах распознавания образов, как это делает на проблемах приближения функций.

Следующая фигура строит среднеквадратичную погрешность по сравнению со временем выполнения для некоторых типичных алгоритмов. Для этой проблемы нет такого же изменения в производительности как в предыдущих проблемах.

Отношение между алгоритмами далее проиллюстрировано в следующей фигуре, которая строит время, требуемое сходиться по сравнению с целью сходимости среднеквадратичной погрешности. Снова вы видите, что некоторые алгоритмы ухудшаются, когда ошибочная цель уменьшается (OSS и BFG), в то время как алгоритм LM улучшается. Это типично для алгоритма LM на любой проблеме, которую ее производительность улучшает относительно других алгоритмов, когда ошибочная цель уменьшается.

Набор данных CHOLESTEROL

Пятая эталонная тестовая задача является реалистическим приближением функций (или нелинейная регрессия) проблема. Цель сети состоит в том, чтобы предсказать уровни холестерина (ldl, hdl, и vldl) на основе измерений 21 спектрального компонента. Данные были получены от доктора Нила Перди, Отдела Химии, Университета штата Оклахома [PuLu92]. Сеть, используемая для этой проблемы, является 21-15-3 сетями с tansig нейронами в скрытых слоях и линейными нейронами в выходном слое. Следующая таблица обобщает результаты обучения этой сети с девятью различными алгоритмами. Каждая запись в таблице представляет 20 различных испытаний (10 испытаний за RP и GDX), где различные случайные начальные веса используются в каждом испытании. В каждом случае обучена сеть, пока квадратичная невязка не меньше чем 0,027.

Масштабированный алгоритм метода сопряженных градиентов имеет лучшую производительность на этой проблеме, несмотря на то, что все алгоритмы метода сопряженных градиентов выполняют хорошо. Алгоритм LM не выполняет также на этой проблеме приближения функций, как это сделало на других двух. Это вызвано тем, что количество весов и смещений в сети увеличилось снова (378 по сравнению с 152 по сравнению с 16). Как количество увеличений параметров, вычисление, требуемое в алгоритме LM, увеличивается геометрически.

Следующая фигура строит среднеквадратичную погрешность по сравнению со временем выполнения для некоторых типичных алгоритмов. Для этой проблемы вы видите, что алгоритм LM может управлять среднеквадратичной погрешностью к более низкому уровню, чем другие алгоритмы. SCG и алгоритмы RP обеспечивают самую быструю начальную сходимость.

Отношение между алгоритмами далее проиллюстрировано в следующей фигуре, которая строит время, требуемое сходиться по сравнению с целью сходимости среднеквадратичной погрешности. Вы видите, что LM и алгоритмы BFG улучшаются относительно других алгоритмов, когда ошибочная цель уменьшается.

Набор данных DIABETES

Шестая эталонная тестовая задача является проблемой распознавания образов. Цель сети состоит в том, чтобы решить, есть ли у человека диабет, на основе персональных данных (возраст, беременное число раз) и результаты медицинских обследований (например, кровяное давление, индекс массы тела, результат теста допуска глюкозы, и т.д.). Данные были получены из Калифорнийского университета, Ирвина, базы данных машинного обучения. Сеть, используемая для этой проблемы, является 8-15-15-2 сетями с tansig нейронами во всех слоях. Следующая таблица обобщает результаты обучения этой сети с девятью различными алгоритмами. Каждая запись в таблице представляет 10 различных испытаний, где различные случайные начальные веса используются в каждом испытании. В каждом случае обучена сеть, пока квадратичная невязка не меньше чем 0,05.

Алгоритмы метода сопряженных градиентов и устойчивая обратная связь все обеспечивают быструю сходимость. Результаты на этой проблеме сопоставимы с другими рассмотренными проблемами распознавания образов. Алгоритм RP работает хорошо над всеми проблемами распознавания образов. Это разумно, потому что тот алгоритм был разработан, чтобы преодолеть трудности, вызванные обучением с сигмоидальными функциями, которые имеют очень маленькие наклоны при работе далекий от центральной точки. Для проблем распознавания образов вы используете сигмоидальные передаточные функции в выходном слое, и вы хотите, чтобы сеть действовала в хвостах сигмоидальной функции.

Следующая фигура строит среднеквадратичную погрешность по сравнению со временем выполнения для некоторых типичных алгоритмов. Как с другими проблемами, вы видите, что SCG и RP имеют быструю начальную сходимость, в то время как алгоритм LM может обеспечить меньшую конечную погрешность.

Отношение между алгоритмами далее проиллюстрировано в следующей фигуре, которая строит время, требуемое сходиться по сравнению с целью сходимости среднеквадратичной погрешности. В этом случае вы видите, что алгоритм Большого и доброго великана ухудшается, когда ошибочная цель уменьшается, в то время как алгоритм LM улучшается. Алгоритм RP является лучшим, кроме в самой маленькой ошибочной цели, где SCG лучше.

Сводные данные

Существует несколько характеристик алгоритма, которые могут быть выведены из описанных экспериментов. В целом, на проблемах приближения функций, для сетей, которые содержат до нескольких сотен весов, алгоритм Levenberg-Marquardt будет иметь самую быструю сходимость. Это преимущество особенно примечательно, если очень точное обучение требуется. Во многих случаях trainlm может получить более низкие среднеквадратичные погрешности, чем любой из других протестированных алгоритмов. Однако как количество весов в сетевых увеличениях, преимуществе уменьшений trainlm. Кроме того, производительность trainlm относительно плоха на проблемах распознавания образов. Требования устройства хранения данных trainlm больше, чем другие протестированные алгоритмы.

Функция trainrp является самым быстрым алгоритмом на проблемах распознавания образов. Однако это не выполняет хорошо на проблемах приближения функций. Его производительность также ухудшается, когда ошибочная цель уменьшается. Требования к памяти для этого алгоритма являются относительно небольшими по сравнению с другими рассмотренными алгоритмами.

Алгоритмы метода сопряженных градиентов, в конкретном trainscg, кажется, выполняют хорошо по большому разнообразию проблем, особенно для сетей с большим количеством весов. Алгоритм SCG почти с такой скоростью, как алгоритм LM на проблемах приближения функций (быстрее для больших сетей) и почти с такой скоростью, как trainrp на проблемах распознавания образов. Его производительность не ухудшается так быстро, как производительность trainrp делает, когда ошибка уменьшается. Алгоритмы метода сопряженных градиентов имеют относительно скромные требования к памяти.

Производительность trainbfg подобна тому из trainlm. Не требуется такого же количества устройства хранения данных как trainlm, но требуемое вычисление действительно увеличивается геометрически с размером сети, потому что эквивалент матричной инверсии должен быть вычислен в каждой итерации.

Переменный алгоритм темпа обучения traingdx обычно намного медленнее, чем другие методы и имеет о тех же требованиях устройства хранения данных как trainrp, но это может все еще быть полезно для некоторых проблем. Существуют определенные ситуации, в которых лучше сходиться более медленно. Например, при использовании ранней остановки у вас могут быть противоречивые результаты, если вы используете алгоритм, который сходится слишком быстро. Вы можете промахнуться по точке, в которой минимизирована ошибка на наборе валидации.