[Batt92] Баттити, Р., «Методы обучения первого и второго порядка: Между самым крутым спуском и методом Ньютона», Neural Computation, Vol. 4, № 2, 1992, стр. 141-166.
[Beal72] Бил, E.M.L., «Выведение сопряженных градиентов», в F.A. Lootsma, Ed., Численные методы нелинейной оптимизации, Лондон: Академическая пресса, 1972.
[Bren73] Брент, Р.П., Алгоритмы минимизации без производных, Энглвуд Клиффс, Нью-Джерси: Прентис-Холл, 1973.
[Caud89] Caudill, M., Neural Networks Primer, Сан-Франциско, Калифорния: Miller Freeman Publications, 1989.
Эта коллекция работ из AI Expert Magazine дает прекрасное введение в область нейронных сетей. Документы используют минимум математики, чтобы объяснить основные результаты ясно. Включены несколько хороших предложений для дальнейшего прочтения.
[CaBu92] Caudill, M., and C. Butler, Understanding Neural Networks: Computer Explorations, Vols. 1 and 2, Cambridge, MA: The MIT Press, 1992.
Это двухтомная рабочая тетрадь, призванная дать студентам «руку на руку» опыт работы с нейронными сетями. Он написан для лабораторного курса на уровне выпускника старшего или первого курса. Включено программное обеспечение для компьютеров IBM PC и Apple Macintosh. Материал хорошо написан, ясен и полезен в понимании области, которая традиционно была похоронена в математике.
[Char92] Charalambous, C., «Алгоритм сопряженного градиента для эффективной тренировки искусственных нейронных сетей», IEEE Proceedings, том 139, № 3, 1992, стр. 301-310.
[ChCo91] Чен, С., К.Ф.Н. Коуэн и П.М. Грант, «Алгоритм обучения ортогональным наименьшим квадратам для радиальных базовых функциональных сетей», IEEE Transactions on Neural Networks, том 2, № 2, 1991, стр. 302-309.
Эта статья дает прекрасное введение в область радиальных базисных функций. Документы используют минимум математики, чтобы объяснить основные результаты ясно. Включены несколько хороших предложений для дальнейшего прочтения.
[ChDa99] Чэнъю, Г. и К. Данаи, «Диагностика неисправности эталонной проблемы IFAC с модельной рецидивирующей нейронной сетью», Труды Международной конференции IEEE по применению контроля 1999, том 2, 1999, стр. 1755-1760.
[DARP88] Исследование нейронной сети DARPA, Лексингтон, Массачусетс: M.I.T. Лаборатория Линкольна, 1988 год.
Эта книга является сборником знаний о нейронных сетях, как они были известны в 1988 году. В нем представлены теоретические основы нейронных сетей и обсуждаются их текущие применения. Он содержит разделы, посвященные ассоциативным воспоминаниям, повторяющимся сетям, зрению, распознаванию речи и робототехнике. Наконец, рассматриваются инструменты моделирования и технология внедрения.
[DeHa01a] Де Хесус, О. и М. Т. Хаган, «Обратное распространение через время для общего класса периодической сети», Материалы Международной совместной конференции по нейронным сетям, Вашингтон, округ Колумбия, 15-19 июля 2001 года, стр. 2638-2642.
[DeHa01b] Де Хесус, О. и М. Т. Хаган, «Алгоритм прямого возмущения для общего класса рекуррентной сети», Труды Международной совместной конференции по нейронным сетям, Вашингтон, округ Колумбия, 15-19 июля 2001 года, стр. 2626-2631.
[DeHa07] Де Хесус, О. и М. Т. Хаган, «Алгоритмы обратного распространения для широкого класса динамических сетей», Транзакции IEEE в нейронных сетях, том 18, № 1, январь 2007, стр. 14 -27.
В этой статье представлены подробные алгоритмы для вычисления градиентов и якобинцев для произвольно соединенных нейронных сетей. Рассматриваются как алгоритмы обратного распространения в течение времени, так и алгоритмы повторного обучения в реальном времени.
[DeSc83] Деннис, Дж. Э., и Р. Б. Шнабель, Численные методы для неограниченной оптимизации и нелинейных уравнений, Энглвуд Клиффс, Нью-Джерси: Прентис-Холл, 1983.
[DHH01] Де Хесус, О., Ж.М. Хорн и М.Т. Хаган, «Анализ периодических сетевых тренингов и предложений по улучшению», Материалы Международной совместной конференции по нейронным сетям, Вашингтон, округ Колумбия, 15-19 июля 2001 года, стр. 2632-2637.
[Elma90] Эльман, Дж. Л., «Поиск структуры во времени», Cognitive Science, Vol. 14, 1990, pp. 179-211.
Настоящий документ представляет собой прекрасное введение в сети Эльмана, описанные в главе 10 «Периодические сети».
[FeTs03] Фэн, J., Ц.К. Се и F.C.M. Лау, «Стратегия уравнивания каналов на основе нейронной сети для систем связи на основе хаоса», IEEE Transactions on Circuits and Systems I: Fundamental Theory and Applications, Vol. 50, No. 7, 2003, pp . 954-957.
[FlRe64] Флетчер, Р. и К. М. Ривз, «Минимизация функции сопряженными градиентами», Computer Journal, Vol. 7, 1964, pp. 149-154.
[FoHa97] Предвидят, F.D., и М.Т. Хейган, «Приближение Gauss-ньютона к регуляризации Bayesian», Слушания Международной Совместной Конференции 1997 года по Нейронным сетям, 1997, стр 1930-1935.
[GiMu81] Гилл, П. Э., В. Мюррей и М. Х. Райт, Практическая оптимизация, Нью-Йорк: Академическая пресса, 1981.
[GiPr02] Джанлука, П., Д. Пшыбыльский, Б. Рост, П. Бальди, «Улучшение прогнозирования вторичной структуры белка в трех и восьми классах с использованием рецидивирующих нейронных сетей и профилей», Белки: структура, функция и генетика, том 47, № 2, 2002, стр. 228-235.
[Gros82] Гроссберг, С., Исследования разума и мозга, Дродрехт, Голландия: Reidel Press, 1982.
Эта книга содержит статьи, обобщающие теоретическую психофизиологическую работу Гроссберга до 1980 года. Каждая статья содержит предисловие, объясняющее основные моменты.
[HaDe99] Hagan, M.T., и H.B. Demuth, «Neural Networks for Control», Proceedings of the 1999 American Control Conference, San Diego, CA, 1999, pp . 1642-1656.
[HaJe99] Хаган, М. Т., О. Де Жезус и Р. Шульц, «Тренинг периодических сетей для фильтрации и управления», глава 12 в периодических нейронных сетях: дизайн и применение, Л. Медскер и Л. К. Джейн, ред., CRC Press, стр. 311-340.
[HaMe94] Хаган, М. Т. и М. Менхадж, «Обучение сетей прямой связи с алгоритмом Марквардта», IEEE Transactions on Neural Networks, том 5, № 6, 1999, стр. 989-993, 1994.
В этой статье сообщается о первой разработке алгоритма Левенберга-Марквардта для нейронных сетей. В ней описывается теория и применение алгоритма, который тренирует нейронные сети со скоростью в 10-100 раз быстрее обычного метода обратного распространения градиентного спуска.
[HaRu78] Харрисон, Д. и Рубинфельд, Д. Л., «Гедонические цены и спрос на чистый воздух», J. Environ. Экономика и управление, том 5, 1978, стр. 81-102.
Этот набор данных был взят из библиотеки StatLib, которая хранится в Университете Карнеги-Меллон.
[HDB96] Хаган, М.Т., Х.Б. Демут и М.Х. Бил, Neural Network Design, Бостон, MA: PWS Publishing, 1996.
Эта книга содержит четкое и подробное исследование основных нейронных сетевых архитектур и правил обучения. Акцентирует внимание на математическом анализе сетей, методах обучения сетей и применении сетей к практическим инженерным задачам. В ней есть примеры программ, руководство инструктора и накладные расходы на прозрачность обучения.
[HDH09] Horn, J.M., O. De Jesús и M.T. Hagan, «Ложные долины в поверхности ошибки повторяющихся сетей - анализ и избегание», IEEE Transactions on Neural Networks, том 20, № 4, стр. 686-700, апрель 2009.
В этой статье описываются ложные впадины, которые появляются на ошибочных поверхностях повторяющихся сетей. Он также объясняет, как можно изменить алгоритмы обучения, чтобы избежать застревания в этих долинах.
[Hebb49] Hebb, D.O., Организация поведения, Нью-Йорк: Уайли, 1949.
В этой книге были предложены нейросетевые архитектуры и первое правило обучения. Правило обучения используется для формирования теории о том, как коллекции клеток могут формировать концепцию.
[Himm72] Химмельблау, Д.М., Прикладное нелинейное программирование, Нью-Йорк: Макгроу-Хилл, 1972.
[HuSb92] Хант, К. Дж., Д. Сбарбаро, Р. Збиковски и П. Дж. Гаутроп, Neural Networks for Control System - A Survey ", Automatica, Vol. 28, 1992, pp . 1083-1112.
[JaRa04] Джаядева и С.А.Рахман, «Нейронная сеть с O (N) нейронами для ранжирования N чисел за O (1/N) время», IEEE Transactions on Circuits and Systems I: Regular Papers, том 51, № 10, 2004, стр. 2044-2051.
[Joll86] Джоллифф, И.Т., анализ основных компонентов, Нью-Йорк: Спрингер-Верлаг, 1986.
[KaGr96] Камва, И., Р. Грондин, В. К. Суд, К. Ганьон, Ван Тич Нгуен и Дж. Мереб, «Повторяющиеся нейронные сети для обнаружения фазоров и адаптивной идентификации в управлении и защите энергосистемы», IEEE Transactions on Instrumentation and Measurement, Vol. 45, No. 2
[Koho87] Кохонен, Т., Самоорганизация и ассоциативная память, 2-е издание, Берлин: Springer-Verlag, 1987.
В этой книге анализируется несколько правил обучения. Затем вводится и внедряется в самоорганизующиеся карты элементов правило обучения Кохонена. Также изучаются ассоциативные сети.
[Koho97] Кохонен, Т., Самоорганизующиеся карты, Второе издание, Берлин: Springer-Verlag, 1997.
В этой книге рассматриваются история, основы, теория, приложения и аппаратное обеспечение самоорганизующихся карт. Он также включает комплексное обследование литературы.
[LiMi89] Ли, Дж., А. Н. Мишель и В. Пород, «Анализ и синтез класса нейронных сетей: линейных систем, работающих на замкнутом гиперкубе», IEEE Transactions on Circuits and Systems, т. 36, № 11, 1989, стр. 1405-1422.
В этой статье обсуждается класс нейронных сетей, описанных линейными дифференциальными уравнениями первого порядка, которые определены на закрытом гиперкубе. Рассматриваемые системы сохраняют базовую структуру модели Хопфилда, но их легче анализировать и внедрять. В статье представлен эффективный способ определения множества асимптотически стабильных точек равновесия и множества нестабильных точек равновесия. Приведены примеры. Метод Li et al. al., реализована в дополнительных разделах Руководства пользователя.
[Lipp87] Липпман, Р. П., «Введение в вычисления с помощью нейронных сетей», IEEE ASSP Magazine, 1987, pp. 4-22.
Эта статья дает введение в область нейронных сетей, рассматривая шесть моделей нейронных сетей, которые могут быть использованы для классификации шаблонов. В статье показано, как существующие алгоритмы классификации и кластеризации могут быть выполнены с использованием простых компонентов, которые похожи на нейроны. Это хорошо читаемая бумага.
[MacK92] MacKay, D.J.C., «Байесовская интерполяция», Neural Computation, Vol . 4, No. 3, 1992, pp. 415-447.
[Marq63] Марквардт, Д., «Алгоритм оценки нелинейных параметров методом наименьших квадратов», SIAM Journal on Applied Mathematics, Vol. 11, No. 2, June 1963, pp . 431-441.
[McPi43] Маккаллох, W.S. и W.H. Pitts, «Логическое исчисление идей, имманентных в нервной деятельности», Bulletin of Mathematical Biophysics, Vol. 5, 1943, pp . 115-133.
Классическая статья, которая описывает модель нейрона, которая является двоичной и имеет фиксированный порог. Сеть таких нейронов может выполнять логические операции.
[MeJa00] Medsker, L.R. и L.C. Jain, Recurative neural networks: design and applications, Boca Raton, FL: CRC Press, 2000.
[Moll93] Моллер, М.Ф., «Масштабированный алгоритм сопряженного градиента для быстрого контролируемого обучения», Neural Networks, Vol. 6, 1993, pp. 525-533.
[MuNe92] Мюррей, Р., Д. Ноймеркель и Д. Сбарбаро, «Нейронные сети для моделирования и управления нелинейной динамической системой», Труды Международного симпозиума IEEE 1992 года по интеллектуальному управлению, 1992 год, стр. 404-409.
[NaMu97] Нарендра, К. С. и С. Мухопадхьяй, «Адаптивное управление с использованием нейронных сетей и приближенных моделей», IEEE Transactions on Neural Networks, Vol. 8, 1997, pp. 475-485.
[NaPa91] Нарендра, Кумпати С. и Каннан Партасаратхи, «Подход к обучению автоматам иерархического многообъективного анализа», IEEE Transactions on Systems, Man and Cybernetics, том 20, № 1, январь/февраль 1991, стр. 263-272.
[NgWi89] Нгуен, Д. и Б. Видроу, «The truck backer-upper: Пример самообучения в нейронных сетях», Труды Международной совместной конференции по нейронным сетям, том 2, 1989, стр. 357-363.
В этой статье описывается двухслойная сеть, которая сначала изучила динамику грузовика, а затем научилась поддерживать грузовик в заданном положении на погрузочном доке. Для этого нейросеть должна была решить в высшей степени нелинейную задачу систем управления.
[NgWi90] Нгуен, Д. и Б. Видроу, «Повышение скорости обучения двухслойных нейронных сетей путем выбора начальных значений адаптивных весов», Труды Международной совместной конференции по нейронным сетям, том 3, 1990, стр. 21-26.
Nguyen и Widrow показывают, что двухслойную сигмоидную/линейную сеть можно рассматривать как выполняющую кусочно-линейную аппроксимацию любой изученной функции. Показано, что веса и смещения, генерируемые с определенными ограничениями, приводят к тому, что исходная сеть лучше способна формировать функциональное приближение произвольной функции. Использование исходных условий Нгуен-Видроу (вместо чисто случайных) часто укорачивает время обучения более чем на порядок.
[Powe77] Пауэлл, M.J.D., «Процедуры перезапуска для метода сопряженного градиента», Математическое программирование, том 12, 1977, стр. 241-254.
[Pulu92] Пурди, Н., Е. А. Лукас и М. Б. Талли, «Прямая мера общего холестерина и его распределения среди основных сывороточных липопротеинов», Clinical Chemistry, Vol. 38, No. 9, 1992, pp. 1645-1647.
[RiBr93] Ридмиллер, М. и Х. Браун, «Прямой адаптивный метод для более быстрого обучения обратному распространению: алгоритм RPROP», Труды Международной конференции IEEE по нейронным сетям, 1993.
[Robin94] Робинсон, А.Дж., «Применение повторяющихся сетей для оценки вероятности телефона», IEEE Transactions on Neural Networks, Vol. 5, No. 2, 1994.
[RoJa96] Роман, Дж. и А. Джамил, «Backpropagation and recurrative neural networks in financial analysis of multiple stock market return», Proceedings of the Двадцать Inth Hawaii International Conference on System Sciences, Vol. 2, 1996, pp. 454-460.
[Rose61] Розенблат, Ф., Принципы нейродинамики, Вашингтон, округ Колумбия: «Спартан Пресс», 1961.
В этой книге представлены все результаты Розенблата на перцептронах. В частности, в нём представлен его важнейший результат, теорема перцептронного обучения.
[RuHi86a] Румельхарт, Д. Э., Г. Э. Хинтон и Р. Дж. Уильямс, «Изучение внутренних представлений путем распространения ошибок», в Д. Э. Румельхарт и Дж. Л. Макклелланд, Редс., параллельная обработка данных, том 1, Кембридж, Массачусетс: M.II. Пресса, 1986, стр. 318-362.
Это основная ссылка на обратное распространение.
[RuHi86b] Румельхарт, Д. Э., Г. Э. Хинтон и Р. Дж. Уильямс, «Изучение представлений путем обратного распространения ошибок», Nature, Vol. 323, 1986, pp. 533-536.
[RuMc86] Румельхарт, Д. Э., Дж. Л. Макклелланд, и Исследовательская группа PDP, Eds., Parallel Distributed Processing, тома 1 и 2, Кембридж, Массачусетс: The M.I.T. Пресса, 1986.
Эти два тома содержат набор монографий, в которых представлено техническое введение в область нейронных сетей. Каждый раздел написан разными авторами. Эти работы представляют собой резюме большинства исследований в нейронных сетях на дату публикации.
[Scal85] Весы, Л.Е., Введение в нелинейную оптимизацию, Нью-Йорк: Спрингер-Верлаг, 1985.
[SoHa96] Солоуэй, Д. и П. Джей Хейли, «Нейронный обобщенный прогностический контроль», Труды Международного симпозиума IEEE 1996 года по интеллектуальному контролю, 1996, стр. 277-281.
[VoMa88] Фогл, Т. П., Дж. К. Мангис, А. К. Риглер, В. Т. Цинк и Д. Л. Алкон, «Ускорение схождения метода обратной пропагации», Биологическая кибернетика, том 59, 1988, стр. 256-264.
Обучение обратному распространению может быть ускорено и сделано менее чувствительным к небольшим признакам на поверхности ошибки, таким как неглубокие локальные минимумы, путем комбинирования методов, таких как пакетирование, адаптивная скорость обучения и импульс.
[WaHa89] Вайбел, А., Т. Ханадзава, Г. Хинтон, К. Шикано и К. Дж. Ланг, «Распознавание фонем с использованием нейронных сетей с временной задержкой», Транзакции IEEE по акустике, речи и обработке сигналов, том 37, 1989, стр. 328-339.
[Wass93] Вассерман, P.D., Advanced Methods in Neural Computing, Нью-Йорк: Van Nostrand Reinhold, 1993.
[WeGe94] Вайгенд, А. С. и Н. А. Гершенфельд, ред., Предсказание временных рядов: Прогнозирование будущего и понимание прошлого, Чтение, Массачусетс: Аддисон-Уэсли, 1994.
[WiHo60] Widrow, B. и M.E. Hoff, «Адаптивные схемы коммутации», 1960 IRE WESCON Convention Record, New York IRE, 1960, pp. 96-104.
[WiSt85] Widrow, B. и S.D. Стернс, адаптивная обработка сигналов, Нью-Йорк: Прентис-Холл, 1985.
Это основная статья по адаптивной обработке сигналов.