[Batt92] Battiti, R., «First and второго порядка methods for learning: Between наискорейшего спуска and Newton's method», Neural Расчета, Vol. 4, No2, 1992, pp . 141-166.
[Beal72] Beale, E.M.L., «A derivation of conjugate gradients», in F.A. Lootsma, Ed., Numerical methods for nonlinear optimization, London: Academic Press, 1972.
[Bren73] Brent, R.P., Алгоритмы минимизации без производных, Englewood Cliffs, NJ: Prentice Hall, 1973.
[Caud89] Caudill, M., Neural Networks Primer, San Francisco, CA: Miller Freeman Publications, 1989.
Этот набор работ журнала AI Expert даёт отличное представление в области нейронных сетей. Статьи используют минимум математики, чтобы четко объяснить основные результаты. Несколько хороших предложений для дальнейшего чтения включены.
[CaBu92] Caudill, M. and C. Butler, Understanding Neural Networks: Computer Explorations, Vols. 1 and 2, Cambridge, MA: The MIT Press, 1992.
Это двухтомник, призванный дать студентам опыт работы с нейронными сетями. Она написана для лабораторного курса на старшем или первокурсном уровне. В комплект поставки входит программное обеспечение для компьютеров IBM PC и Apple Macintosh. Материал хорошо написан, ясен и полезен в понимании области, которая традиционно была похоронена в математике.
[Char92] Charalambous, C., «Сопряженный алгоритм градиента для эффективной настройки искусственных нейронных сетей», IEEE Proceedings, том 139, № 3, 1992, стр. 301-310.
[ChCo91] Chen, S., C.F.N. Коуэн и П.М. Грант, «Ортогональный алгоритм обучения методом наименьших квадратов для радиальных базисов функциональных сетей», Транзакции IEEE по нейронным сетям, том 2, № 2, 1991, стр. 302-309.
Этот документ дает отличное введение в область радиальных базисных функций. Статьи используют минимум математики, чтобы четко объяснить основные результаты. Несколько хороших предложений для дальнейшего чтения включены.
[ChDa99] Chengyu, G. and K. Danai, «Диагностика отказа задачи IFAC Benchmark with a model based рекуррентной нейронной сети», Proceedings of the 1999 IEEE International Conference on Control Applications, Vol. 2, 1999, pp . 1755-1760.
[DARP88] Исследование нейронной сети DARPA, Лексингтон, Массачусетс: M.I.T. Лаборатория Линкольна, 1988.
Эта книга является компендиумом знаний о нейронных сетях, как они были известны в 1988 году. В нем представлены теоретические основы нейронных сетей и обсуждаются их текущие приложения. Он содержит разделы об ассоциативных памятях, рецидивирующих сетях, зрении, распознавании речи и робототехнике. Наконец, в нем обсуждаются инструменты симуляции и технология реализации.
[DeHa01a] De Jes, O., and M.T. Hagan, «Backpropagation Through Time for a General Класса of Recurrent Network», Труды Международной совместной конференции по нейронным сетям, Вашингтон, округ Колумбия, июль 15-19, 2001, стр. 2638-2642.
[DeHa01b] De Jes, O., and M.T. Hagan, «Forward Perturbation Algorithm for a General Class of Recurrent Network», Proceedings of the International Joint Conference on Neural Networks, work, Dc. 15-19, 2001, pp. 2626-2631.
[DeHa07] De Jes, O., and M.T. Hagan, «Backpropagation Algorithms for a Brand Класса of Dynamic Networks», IEEE Transactions on Neural Networks, Vol. 18, No. 1, January 2007, pp. 14 -27.
В этой статье приведены подробные алгоритмы вычисления градиентов и якобийцев для произвольно связанных нейронных сетей. Охватываются как алгоритмы обратного обучения через время, так и алгоритмы повторного обучения в реальном времени.
[DeSc83] Dennis, J.E., and R.B. Schnabel, Numerical Methods for Оптимизация без ограничений and Nonlinear Equations, Englewood Cliffs, NJ: Prentice Hall, 1983.
[DHH01] De Хесус, O., Дж.М. Хорн и М.Т. Хейган, «Анализ Текущего Сетевого Обучения и Предложений для Улучшений», Слушания Международной Совместной Конференции по Нейронным сетям, Вашингтону, округ Колумбия, 15-19 июля 2001, стр 2632-2637.
[Elma90] Elman, J.L., «Нахождение структуры во времени», Cognitive Science, Vol. 14, 1990, pp. 179-211.
Этот документ является превосходным введением к сетям Эльмана, описанным в главе 10 «Регулярные сети».
[FeTs03] Feng, J., C.K. Tse, and F.C.M. Лау, «основанная на нейронной сети стратегия выравнивания каналов для основанных на хаосе систем связи», Транзакции IEEE по схемам и системам I: фундаментальная теория и приложения, том 50, № 7, 2003, стр. 954-957.
[FlRe64] Fletcher, R., and C.M. Reeves, «Function minimization by conjugate gradients», Computer Journal, Vol. 7, 1964, pp. 149-154.
[FoHa97] Foresee, F.D., and M.T. Hagan, «Gauss-Newton приближения to Bayesian regularization», Proceedings of the 1997 International Joint Conference on Neural Networks, 1997, pp. 1930-1935.
[GiMu81] Gill, P.E., W. Murray, and M.H. Wright, Practical Optimization, New York: Academic Press, 1981.
[GiPr02] Gianluca, P., D. Przybylski, B. Rost, P. Baldi, «Улучшение прогноза белковой вторичной структуры в трех и восьми классах с использованием рекуррентных нейронных сетей и профилей», Белки: структура, функция и генетика, Vol. 47, № 2, 2002, pp. 228-235.
[Gros82] Grossberg, S., Studies of the Mind and Brain, Drodrecht, Holland: Reidel Press, 1982.
Эта книга содержит статьи, обобщающие теоретическую психофизиологию Гроссберга до 1980 года. Каждая статья содержит предисловие, объясняющее основные точки.
[HaDe99] Hagan, M.T., and H.B. Demuth, «Neural Networks for Control», Proceedings of the 1999 American Control Conference, San Diego, CA, 1999, pp . 1642-1656.
[HaJe99] Hagan, M.T., O. De Jesus, and R. Schultz, «Training Recurrent Networks for Filtering and Control», Chapter 12 in Рекуррентных нейронных сетей: Проект and Applications, L.C. Jain, Eds., CRC C Press, pp. 311-340.
[HaMe94] Hagan, M.T., and M. Menhaj, «Training сетей прямого распространения with the Marquardt algorithm», IEEE Transactions on Neural Networks, Vol. 5, No . 6, 1999, pp. 989-993, 1994.
В этой статье сообщается о первой разработке алгоритма Левенберга-Марквардта для нейронных сетей. В нем описывается теория и применение алгоритма, который обучает нейронные сети со скоростью от 10 до 100 раз быстрее, чем обычный метод градиентного спуска обратного распространения.
[HaRu78] Harrison, D., and Rubinfeld, D.L., «Hedonic prices and the provision for clean air», J. Environ. Экономика и управление, том 5, 1978, стр. 81-102.
Этот набор данных был взят из библиотеки StatLib, которая ведется в Университете Карнеги-Меллон.
[HDB96] Hagan, M.T., H.B. Demuth, and M.H. Beale, Neural Network Design, Boston, MA: PWS Publishing, 1996.
В этой книге представлен четкий и подробный обзор основных архитектур нейронных сетей и правил обучения. Акцентирует внимание на математическом анализе сетей, методах обучения сетей, применении сетей к практическим инженерным задачам. В нем есть примеры программ, руководство инструктора и накладные расходы на прозрачность для обучения.
[HDH09] Хорн, Дж. М., О. Де Хесус и М. Т. Хаган, «Ложные Овраги в поверхности ошибок рецидивирующих сетей - анализ и предотвращение», Транзакции IEEE по нейронным сетям, Vol. 20, No. 4, pp. 686-700, April 2009.
В этой статье описываются ложные овраги, которые появляются в поверхностях ошибок рекуррентных сетей. Это также объясняет, как алгоритмы настройки могут быть изменены, чтобы избежать застревания в этих оврагах.
[Hebb49] Hebb, D.O., Организация поведения, Нью-Йорк: Уайли, 1949.
В этой книге были предложены архитектуры нейронных сетей и первое правило обучения. Правило обучения используется, чтобы сформировать теорию, как наборы камер могут сформировать концепцию.
[Himm72] химмельблау, D.M., Applied Nonlinear Programming, New York: McGraw-Hill, 1972.
[HuSb92] Hunt, K.J., D. Sbarbaro, R. Zbikowski, and P.J. Gawthrop, Neural Networks for Control System - A Survey, "Automatica, Vol. 28, 1992, pp . 1083-1112.
[JaRa04] Джаядева и С.А.Рахман, «Нейронная сеть с нейронами O (N) для ранжирования N чисел во времени O (1/N)», Транзакции IEEE по схемам и системам I: обычные документы, том 51, № 10, 2004, стр. 2044-2051.
[Joll86] Jolliffe, I.T., Principal Component Analysis, New York: Springer-Verlag, 1986.
[KaGr96] Kamwa, I., R. Grondin, V.K. Sood, C. Gagnon, Van Thich Nguyen, and J. Mereb, «Recurrent nural networks for phasor detection and adaptive identification in in power and protecution», is .
[Koho87] Kohonen, T., Self-Organization and Associative Memory, 2nd Edition, Berlin: Springer-Verlag, 1987.
В этой книге анализируется несколько правил обучения. Затем правило обучения Кохонена вводится и внедряется в самоорганизующиеся карты функций. Также изучаются ассоциативные сети.
[Koho97] Kohonen, T., Self-Organizing Maps, Second Edition, Berlin: Springer-Verlag, 1997.
В этой книге обсуждается история, основы, теория, приложения и оборудование самоорганизующихся карт. Он также включает комплексное обследование литературы.
[LiMi89] Li, J., A.N. Michel, and W. Porod, «Анализ и синтез класса нейронных сетей: линейные системы, работающие на закрытом гиперкубе», Транзакции IEEE по схемам и системам, том 36, № 11, 1989, стр. 1405-1422.
В этом документе обсуждается класс нейронных сетей, описанных линейными дифференциальными уравнениями первого порядка, которые заданы на закрытом гиперкубе. Рассматриваемые системы сохраняют базовую структуру модели Хопфилда, но легче анализировать и внедрять. В статье представлен эффективный метод определения множества асимптотически стабильных точек равновесия и множества нестабильных точек равновесия. Представлены примеры. Метод Li, et. al., реализована в Advanced Topics в Руководстве пользователя.
[Lipp87] Lippman, R.P., «Введение в вычисления нейронными сетями», IEEE ASSP Magazine, 1987, pp. 4-22.
Эта статья дает введение в область нейронных сетей, рассматривая шесть моделей нейронной сети, которые могут использоваться для классификации шаблонов. В статье показано, как существующие алгоритмы классификации и кластеризации могут быть выполнены с использованием простых компонентов, которые похожи на нейроны. Это очень читаемая бумага.
[MacK92] MacKay, D.J.C., «Bayesian interpolation», Neural Computation, Vol . 4, No 3, 1992, pp. 415-447.
[Marq63] Марквардт, Д., «Алгоритм оценки нелинейных параметров методом наименьших квадратов», SIAM Journal по прикладной математике, том 11, № 2, июнь 1963, стр. 431-441.
[McPi43] McCulloch, W.S., and W.H. Pitts, «A logical calculus of idees immanent in nervous activity», Bulletin of Mathematical Biophysics, Vol. 5, 1943, pp . 115-133.
Классическая статья, которая описывает модель нейрона, которая является двоичной и имеет фиксированный порог. Сеть таких нейронов может выполнять логические операции.
[MeJa00] Medsker, L.R., and L.C. Jain, рекуррентные нейронные сети: design and applications, Boca Raton, FL: CRC Press, 2000.
[Moll93] Moller, M.F., «A scaled conjugate gradient algorithm for fast superved learning», Neural Networks, Vol. 6, 1993, pp. 525-533.
[MuNe92] Murray, R., D. Neumerkel, and D. Sbarbaro, «Neural Networks for Modeling and Control of a Nonlinear Dynamic System», 1992, pp. 404-409.
[NaMu97] Narendra, K.S., and S. Mukhopadhyay, «Adaptive Control Using Neural Networks and Approximate Models», IEEE Transactions on Neural Networks, Vol. 8, 1997, pp. 475-485.
[NaPa91] Narendra, Kumpati S. and Kannan Parthasarathy, «Learning Automata Approach to Ierarchical Multiobjective Analysis», IEEE Transactions on Systems, Man and CYberneternetics, vernetics, vol. 20, 1, 1991, no. 263-272, dol.
[NgWi89] Nguyen, D. and B. Widrow, «The truck backer-upper: Пример of self-learning in neural networks», Proceedings of the International Joint Conference on Neural Networks, Vol. 2, 1989, pp. 357-363.
Этот документ описывает двухслойную сеть, которая сначала узнала динамику грузовика, а затем научилась возвращать грузовик в заданное положение в загрузку доке. Для этого нейронной сети пришлось решить задачу сильно нелинейных систем управления.
[NgWi90] Nguyen, D. and B. Widrow, «Улучшение скорости обучения 2-слоевых нейронных сетей путем выбора начальных значений адаптивных весов», Труды Международной совместной конференции по нейронным сетям, том 3, 1990, стр. 21-26.
Нгуен и Видроу показывают, что двухслойная сигмоидная/линейная сеть может рассматриваться как выполнение кусочно-линейного приближения любой выученной функции. Показано, что веса и смещения, сгенерированные с определенными ограничениями, результатом в исходной сети, лучше способной сформировать приближение функций произвольной функции. Использование начальных условий Нгуен-Видроу (вместо чисто случайных) часто сокращает время обучения более чем на порядок величина.
[Powe77] Powell, M.J.D., «Restart procedures for the conjugate gradient method», Mathematical Programming, Vol. 12, 1977, pp. 241-254.
[Pulu92] Purdie, N., E.A. Lucas, and M.B. Talley, «Direct measure of total holesterin and it distribution to major serum lipoproteins», Clinical Chemistry, Vol. 38, No. 9, 1992, pp. 1645-1647.
[RiBr93] Riedmiller, M. and H. Braun, «A direct adaptive method for faster backpropagation learning: The RPROP algorithm», Proceedings of the IEEE International Conference on Neural NetWetws, 1993.
[Robin94] Robinson, A.J., «Приложение рекуррентных сетей к оценке вероятностей по телефону», Транзакции IEEE по нейронным сетям, том 5, № 2, 1994.
[RoJa96] Roman, J. and A. Jameel, «Backpropagation and рекуррентные нейронные сети in financial analysis of multiple stock market returning», Proceedings of the Двадцать девятой Гавайской международной конференции по системным наукам, Vol. 2, 1996, pp. 454-460.
[Rose61] Розенблатт, Ф., Принципы нейродинамики, Вашингтон, округ Колумбия: Спартанская пресса, 1961.
В этой книге представлены все результаты Розенблатта по перцептронам. В частности, в нем представлен его самый важный результат, теорема о обучении перцептронов.
[RuHi86a] Rumelhart, D.E., G.E. Hinton, and R.J. Williams, «Learning internal representations by erraphagation», D.E. Rumelhart and J.L. McClelland, Eds., Parallel Data ProCCessing, Vicing, Vol. 1, Col. Пресс, 1986, с. 318-362.
Это основная ссылка на обратное распространение.
[RuHi86b] Rumelhart, D.E., G.E. Hinton, and R.J. Williams, «Learning presentations by back-propagating errors», Nature, Vol. 323, 1986, pp. 533-536.
[RuMc86] Rumelhart, D.E., J.L. McClelland, and the PDP Research Group, Eds., Parallel Distributed Processing, Vols. 1 and 2, Cambridge, MA: The M.I.T. Пресса, 1986.
Эти два тома содержат набор монографий, которые представляют техническое введение в область нейронных сетей. Каждый раздел написан разными авторами. Эти работы представляют сводные данные большинства исследований в нейронных сетях к дате публикации.
[Scal85] шкалы, L.E., Introduction to Non-Linear Optimization, New York: Springer-Verlag, 1985.
[SoHa96] Soloway, D. and P.J. Haley, «Neural Generalized Predictive Control», Processions of the 1996 IEEE International Symposium on Intelligent Control, 1996, pp. 277-281.
[VoMa88] Vogl, T.P., J.K. Mangis, A.K. Rigler, W.T. Zink, and D.L. Alkon, «Ускорение сходимости метода обратного распространения», Biological Cybernetics, Vol. 59, 1988, p.
Обучение backpropagation может быть ускорено и сделано менее чувствительным к небольшим функциям в поверхности ошибки, таким как мелкие локальные минимумы путем объединения таких методов, как пакетирование, адаптивная скорость обучения и импульс.
[WaHa89] Waibel, A., T. Hanazawa, G. Hinton, K. Shikano, and K. J. Lang, «Распознавание фонемы с помощью нейронных сетей с задержкой по времени», Транзакции IEEE по акустике, речи и обработке сигналов, Vol. 37, 1989, pp. 328-339.
[Wass93] Wasserman, P.D., Advanced Methods in Neural Computing, New York: Van Nostrand Reinhold, 1993.
[WeGe94] Вейгенд, А. С., и Н. А. Gershenfeld, eds., Временные Ряды Prediction: Предсказание будущего и понимание прошлого, Reading, MA: Addison-Wesley, 1994.
[WiHo60] Widrow, B., and M.E. Hoff, «Adaptive switching circuits», 1960 IRE WESCON Convention Record, New York IRE, 1960, pp. 96-104.
[WiSt85] Видроу, Б. и С.Д. Стернс, адаптивная обработка сигналов, Нью-Йорк: Prentice Hall, 1985.
Это базовый документ по адаптивной обработке сигналов.