Документация

Мелкий глоссарий нейронных сетей

ADALINE

Акроним для линейного нейрона: Адаптивный Линейный Элемент.

adaption

Метод обучения, который продолжает через заданную последовательность входных параметров, вычисляя выход, ошибку и сетевую корректировку к каждому входному вектору в последовательности как входные параметры, представлен.

adaptive filter

Сеть, которая содержит задержки и чьи веса настроены после каждого нового входного вектора, представлена. Сеть адаптируется к изменениям в свойствах входного сигнала если такой происходила. Этот вид фильтра используется в телефонных линиях большого расстояния, чтобы отменить эхо.

adaptive learning rate

Скорость обучения, которая настроена согласно алгоритму во время обучения минимизировать учебное время.

architecture

Описание количества слоев в нейронной сети, передаточной функции каждого слоя, количестве нейронов на слой и связях между слоями.

backpropagation learning rule

Изучение правила, в котором веса и смещения настроены ошибочной производной (дельта) векторы backpropagated через сеть. Обратная связь обычно применяется к feedforward многоуровневые сети. Иногда это правило называется обобщенным правилом дельты.

backtracking search

Линейная поисковая стандартная программа, которая начинается со множителя шага 1 и затем отслеживает в обратном порядке до приемлемого сокращения эффективности, получена.

batch

Матрица входа (или цель) векторы применилась к сети одновременно. Изменения в сетевых весах и смещениях внесены только однажды для целого набора векторов во входной матрице. (Термин пакет заменяется более описательным выражением “параллельные векторы”.)

batching

Процесс представления набора входных векторов для одновременного вычисления матрицы выходных векторов и/или новых весов и смещений.

Bayesian framework

Принимает, что веса и смещения сети являются случайными переменными с заданными распределениями.

BFGS quasi-Newton algorithm

Изменение алгоритма оптимизации Ньютона, в котором приближение матрицы Гессиана получено из градиентов, вычисленных в каждой итерации алгоритма.

bias

Параметр нейрона, который суммирован со взвешенными входными параметрами нейрона и проходится передаточная функция нейрона, чтобы сгенерировать выход нейрона.

bias vector

Вектор-столбец значений смещения для слоя нейронов.

Brent's search

Линейный поиск, который является гибридом поиска золотого сечения и квадратичной интерполяции.

cascade-forward network

Многоуровневая сеть, в которой каждый слой только получает входные параметры от предыдущих слоев.

Charalambous' search

Гибридный поиск линии, который использует кубичную интерполяцию вместе с типом разделения.

classification

Ассоциация входного вектора с конкретным целевым вектором.

competitive layer

Слой нейронов, в которых только нейрон с максимальным сетевым входом имеет выход 1 и все другие нейроны, имеет выход 0. Нейроны конкурируют друг с другом для права ответить на данный входной вектор.

competitive learning

Безнадзорное обучение конкурентоспособного слоя с правилом возрастной стадии или правилом Kohonen. Отдельные нейроны учатся становиться анализаторами. После обучения слой категоризирует входные векторы среди своих нейронов.

competitive transfer function

Принимает сетевой входной вектор для слоя и возвращает нейрон выходные параметры 0 для всех нейронов за исключением победителя, нейрон, сопоставленный с самым положительным элементом сетевого входа n.

concurrent input vectors

Назовите данными матрице входных векторов, которые должны быть представлены сети одновременно. Все векторы в матрице используются в создании всего одного набора изменений в весах и смещениях.

conjugate gradient algorithm

В алгоритмах метода сопряженных градиентов поиск выполняется вдоль сопряженных направлений, который производит обычно более быструю сходимость, чем поиск вдоль направлений наискорейшего спуска.

connection

Односторонняя ссылка между нейронами в сети.

connection strength

Сила ссылки между двумя нейронами в сети. Сила, часто названная весом, определяет влияние, которое один нейрон оказывает на другого.

cycle

Одно представление входного вектора, вычисление выхода, и новые веса и смещения.

dead neuron

Конкурентоспособный нейрон слоя, который никогда не выигрывал соревнования во время обучения и так не стал полезным анализатором. Мертвые нейроны не отвечают ни на один из учебных векторов.

decision boundary

Линия, определенная весом и векторами смещения, для которых сетевой вход n является нулем.

delta rule

Смотрите, что Видроу-Хофф изучает правило.

delta vector

Вектор дельты для слоя является производной ошибки на выходе сети относительно сетевого входного вектора того слоя.

distance

Расстояние между нейронами, вычисленными от их положений с функцией расстояния.

distance function

Конкретный способ вычислить расстояние, такое как Евклидово расстояние между двумя векторами.

early stopping

Метод на основе деления данных в три подмножества. Первое подмножество является набором обучающих данных, используемым в вычислениях градиент и обновление сетевых весов и смещений. Второе подмножество является набором валидации. Когда ошибочные увеличения валидации для конкретного количества итераций, обучение останавливается, и веса и смещения в минимуме ошибки валидации возвращены. Третье подмножество является набором тестов. Это используется, чтобы проверить проектирование сети.

epoch

Представление набора обучения (вход и/или цель) векторы к сети и вычислению новых весов и смещениям. Обратите внимание на то, что учебные векторы могут быть представлены по одному или все вместе в пакете.

error jumping

Внезапное увеличение квадратичной невязки суммы сети во время обучения. Это часто происходит из-за слишком большой скорости обучения.

error ratio

Параметр обучения используется с адаптивной скоростью обучения и обучением импульсу сетей обратной связи.

error vector

Различие между выходным вектором сети в ответ на входной вектор и связанным целевым выходным вектором.

feedback network

Сеть со связями от выхода слоя, до который вход слоя. Соединение обратной связи может быть прямым или пройти через несколько слоев.

feedforward network

Многоуровневая сеть, в которой каждый слой только получает входные параметры от предыдущих слоев.

Fletcher-Reeves update

Метод для вычисления набора сопряженных направлений. Эти направления используются в качестве поисковых направлений как часть процедуры оптимизации метода сопряженных градиентов.

function approximation

Задача, выполняемая сетью, обученной, чтобы ответить на входные параметры приближением желаемой функции.

generalization

Атрибут сети, выход которой для нового входного вектора имеет тенденцию быть близко к выходным параметрам для подобных входных векторов в его наборе обучающих данных.

generalized regression network

Аппроксимирует непрерывную функцию с произвольной точностью, учитывая достаточное число скрытых нейронов.

global minimum

Самое низкое значение функции в целой области значений ее входных параметров. Методы градиентного спуска настраивают веса и смещения для того, чтобы найти глобальный минимум ошибки для сети.

golden section search

Линейный поиск, который не требует вычисления наклона. Интервал, содержащий минимум эффективности, подразделен в каждой итерации поиска, и одно подразделение устраняется в каждой итерации.

gradient descent

Процесс внесения изменений в веса и смещения, где изменения пропорциональны производным сетевой ошибки относительно тех весов и смещений. Это сделано, чтобы минимизировать сетевую ошибку.

hard-limit transfer function

Передаточная функция, которая сопоставляет входные параметры, больше, чем или равный от 0 до 1, и все другие значения к 0.

Hebb learning rule

Исторически первое предложило изучить правило для нейронов. Веса настроены пропорциональные продукту выходных параметров пред - и нейроны поствеса.

hidden layer

Слой сети, которая не соединяется с сетевым выходом (например, первый слой 2-х слойной сети прямого распространения).

home neuron

Нейрон в центре окружения.

hybrid bisection-cubic search

Поиск линии, который комбинирует деление пополам и кубичную интерполяцию.

initialization

Процесс установки сетевых весов и смещений к их исходным значениям.

input layer

Слой получения нейронов вводит непосредственно снаружи сети.

input space

Область значений всех возможных входных векторов.

input vector

Вектор представлен сети.

input weight vector

Вектор-строка из весов, идущих в нейрон.

input weights

Соединительная сеть весов вводит к слоям.

Jacobian matrix

Содержит первые производные сетевых ошибок относительно весов и смещений.

Kohonen learning rule

Изучение управляет, который обучает векторы веса выбранного нейрона брать значения текущего входного вектора.

layer

Группа нейронов, имеющих связи с теми же входными параметрами и отправляющих выходные параметры тем же местам назначения.

layer diagram

Сетевая фигура архитектуры, показывающая слои и матрицы веса, соединяющие их. Передаточная функция каждого слоя обозначается с символом. Размеры входа, выхода, смещения и матриц веса показывают. Отдельные нейроны и связи не показывают.

layer weights

Соединительные слои весов к другим слоям. Такие веса должны иметь ненулевые задержки, если они формируют текущую связь (i.e., цикл).

learning

Процесс, которым веса и смещения настроены, чтобы достигнуть некоторого желаемого сетевого поведения.

learning rate

Параметр обучения, который управляет размером веса и изменений смещения во время изучения.

learning rule

Метод получения следующих изменений, которые могут быть внесены в сети или процедуре для изменения весов и смещений сети.

Levenberg-Marquardt

Алгоритм, который обучает нейронную сеть в 10 - 100 раз быстрее, чем обычный метод обратной связи градиентного спуска. Это всегда вычисляет аппроксимированную матрицу Гессиана, которая имеет размерности n-by-n.

line search function

Процедура для поиска вдоль данного поискового направления (линия), чтобы определить местоположение минимума производительности сети.

linear transfer function

Передаточная функция, которая производит ее вход как ее выход.

link distance

Количество ссылок или шаги, которые должны быть сделаны, чтобы добраться до нейрона на рассмотрении.

local minimum

Минимум функции по ограниченному диапазону входных значений. Локальная минимальная сила не быть глобальным минимумом.

log-sigmoid transfer function

Сплющивание функции формы, показанной ниже этого, сопоставляет вход с интервалом (0,1). (Функцией тулбокса является logsig.)

$$f(n)=\frac{1}{1+e^{-n}}$$

Manhattan distance

Манхэттенское расстояние между двумя X и Y векторов вычисляется как

D = sum(abs(x-y))

maximum performance increase

Максимальная сумма, которой эффективности позволяют увеличиться в одной итерации переменного алгоритма настройки скорости обучения.

maximum step size

Максимальный размер шага позволен во время линейного поиска. Величине вектора веса не позволяют увеличиться больше, чем этим максимальным размером шага в одной итерации алгоритма настройки.

mean square error function

Функция эффективности, которая вычисляет среднюю квадратичную невязку между сетевыми выходными параметрами a и целевыми выходными параметрами t.

momentum

Метод часто раньше делал его менее вероятно для сети обратной связи, которая будет отловлена в неглубоком минимуме.

momentum constant

Параметр обучения, который управляет, сколько импульса используется.

mu parameter

Начальное значение для скаляра µ.

neighborhood

Группа нейронов на заданном расстоянии конкретного нейрона. Окружение задано индексами для всех нейронов, которые лежат в радиусе d нейрона победы i *:

N i (d) = {j, _dij ≤ d}

net input vector

Комбинация, в слое, взвешенных входных векторов всего слоя с его смещением.

neuron

Основной элемент обработки нейронной сети. Включает веса и смещение, соединение подведения итогов и выходную передаточную функцию. Искусственные нейроны, такие как симулированные и обученные с этим тулбоксом, являются абстракциями биологических нейронов.

neuron diagram

Сетевая фигура архитектуры, показывающая нейроны и веса, соединяющие их. Передаточная функция каждого нейрона обозначается с символом.

ordering phase

Период обучения, во время которого веса нейрона, как ожидают, прикажут себя во входном пространстве, сопоставимом со связанными положениями нейрона.

output layer

Слой, выход которого передается миру вне сети.

output vector

Выход нейронной сети. Каждым элементом выходного вектора является выход нейрона.

output weight vector

Вектор-столбец весов, прибывающих из нейрона или входа. (См. также outstar изучение правила.)

outstar learning rule

Изучение управляет, который обучает нейрон (или вход) выходной вектор веса брать значения вектора текущей производительности из слоя поствеса. Изменения в весах пропорциональны выходу нейрона.

overfitting

Случай, в котором ошибка на наборе обучающих данных управляется к очень маленькому значению, но когда новые данные представлены сети, ошибка, является большим.

pass

Каждое пересечение через весь учебный вход и целевые векторы.

pattern

Вектор.

pattern association

Задача, выполняемая сетью, обученной, чтобы ответить правильным выходным вектором для каждого представленного входного вектора.

pattern recognition

Задача, выполняемая сетью, обученной, чтобы ответить, когда входной вектор близко к изученному вектору представлен. Сеть “распознает” вход одним из исходных целевых векторов.

perceptron

Одноуровневая сеть с передаточной функцией жесткого предела. Эта сеть часто обучается с perceptron изучение правила.

perceptron learning rule

Изучение правила для того, чтобы обучить одноуровневые сети жесткого предела. Это, как гарантируют, приведет к отлично функционирующей сети в конечный промежуток времени, учитывая, что сеть способна к выполнению так.

performance

Поведение сети.

performance function

Обычно среднеквадратическая ошибка сетевых выходных параметров. Однако тулбокс также рассматривает другие функции эффективности. Введите help nnperformance для списка функций эффективности.

Polak-Ribiére update

Метод для вычисления набора сопряженных направлений. Эти направления используются в качестве поисковых направлений как часть процедуры оптимизации метода сопряженных градиентов.

positive linear transfer function

Передаточная функция, которая производит выход нуля для отрицательных входных параметров и выход, равный входу для положительных входных параметров.

postprocessing

Преобразует нормировал выходные параметры назад в те же модули, которые использовались для исходных целей.

Powell-Beale restarts

Метод для вычисления набора сопряженных направлений. Эти направления используются в качестве поисковых направлений как часть процедуры оптимизации метода сопряженных градиентов. Эта процедура также периодически сбрасывает поисковое направление к отрицанию градиента.

preprocessing

Преобразование входа или целевых данных, прежде чем это будет представлено нейронной сети.

principal component analysis

Ортогонализируйте компоненты сетевых входных векторов. Эта процедура может также уменьшать размерность входных векторов путем устранения избыточных компонентов.

quasi-Newton algorithm

Класс алгоритма оптимизации на основе метода Ньютона. Аппроксимированная матрица Гессиана вычисляется в каждой итерации алгоритма на основе градиентов.

radial basis networks

Нейронная сеть, которая может быть спроектирована непосредственно путем подбора кривой специальным элементам ответа, где они будут делать большую часть хорошего.

radial basis transfer function

Передаточная функция для радиального базисного нейрона

$$radbas(n)=e^{-n^2}$$

regularization

Модификация функции эффективности, которая обычно выбирается, чтобы быть суммой квадратов сетевых ошибок на наборе обучающих данных путем добавления некоторой части квадратов сетевых весов.

resilient backpropagation

Алгоритм настройки, который устраняет неблагоприятное воздействие наличия маленького наклона в экстремальных концах сигмоидальных передаточных функций сплющивания.

saturating linear transfer function

Функция, которая линейна в интервале (-1, +1) и насыщает вне этого интервала к-1 или +1. (Функцией тулбокса является satlin.)

scaled conjugate gradient algorithm

Избегает длительного поиска линии стандартного алгоритма метода сопряженных градиентов.

sequential input vectors

Набор векторов, которые должны быть представлены сети один за другим. Сетевые веса и смещения настроены на представлении каждого входного вектора.

sigma parameter

Определяет изменение в весе для вычисления аппроксимированной матрицы Гессиана в масштабированном алгоритме метода сопряженных градиентов.

sigmoid

Монотонная S-образная функция, которая сопоставляет числа в интервале (-∞, ∞) к конечному интервалу такой как (-1, +1) или (0,1).

simulation

Берет входной p сети и сетевой объект net, и возвращает сетевые выходные параметры a.

spread constant

Расстояние входной вектор должно быть от вектора веса нейрона, чтобы произвести выход 0,5.

squashing function

Монотонно возрастающая функция, которая берет входные значения между - ∞ и + ∞ и возвращает значения в конечном интервале.

star learning rule

Изучение управляет, который обучает вектор веса нейрона брать значения текущего входного вектора. Изменения в весах пропорциональны выходу нейрона.

sum-squared error

Сумма различий в квадрате между сетевыми целями и фактическими выходными параметрами для данного входного вектора или набора векторов.

supervised learning

Процесс обучения, в котором изменения в весах и смещениях сети происходят из-за вмешательства любого внешнего учителя. Учитель обычно обеспечивает выходные цели.

symmetric hard-limit transfer function

Передайте, который сопоставляет входные параметры, больше, чем или равный 0 к +1, и все другие значения к-1.

symmetric saturating linear transfer function

Производит вход как его выход, пока вход находится в области значений-1 к 1. Вне той области значений выход-1 и +1, соответственно.

tan-sigmoid transfer function

Сплющивание функции формы, показанной ниже этого, сопоставляет вход с интервалом (-1,1). (Функцией тулбокса является tansig.)

$$f(n)=\frac{1}{1+e^{-n}}$$

tapped delay line

Последовательный набор задержек с выходными параметрами, доступными в каждой задержке, выводится.

target vector

Желаемый выходной вектор для данного входного вектора.

test vectors

Набор входных векторов (не используемый непосредственно в обучении), который используется, чтобы протестировать обучивший сеть.

topology functions

Способы расположить нейроны в сетке, поле, шестиугольной, или случайной топологии.

training

Процедура, посредством чего сеть настроена, чтобы сделать конкретное задание. Обычно просматриваемый как оффлайновое задание, в противоположность корректировке, внесенной во время каждого временного интервала, как сделан в адаптивном обучении.

training vector

Введите и/или предназначайтесь для вектора, используемого, чтобы обучить сеть.

transfer function

Функция, которая сопоставляет нейрон (или слой) сетевой выход n к его фактическому выходу.

tuning phase

Период обучения SOFM, во время которого веса, как ожидают, распространятся относительно равномерно по входному пространству при сохранении их топологического порядка, найденного во время фазы упорядоченного расположения.

underdetermined system

Система, которая имеет больше переменных, чем ограничения.

unsupervised learning

Процесс обучения, в котором изменения в весах и смещениях сети не происходят из-за вмешательства никакого внешнего учителя. Обычно изменения являются функцией текущих сетевых входных векторов, выходных векторов, и предыдущих весов и смещений.

update

Внесите изменение в весах и смещениях. Обновление может произойти после представления одного входного вектора или после того, как накопление переключает несколько входных векторов.

validation vectors

Набор входных векторов (не используемый непосредственно в обучении), который используется, чтобы контролировать процесс обучения, чтобы помешать сети сверхсоответствовать.

weight function

Функции веса применяют веса к входу, чтобы получить взвешенные входные параметры, как задано конкретной функцией.

weight matrix

Матрица, содержащая сильные места связи от входных параметров слоя до его нейронов. Элемент w_{i, j} матрицы веса W относится к силе связи от входа j к нейрону i.

weighted input vector

Результат применения веса к входу слоя, является ли это сетевым входом или выходом другого слоя.

Widrow-Hoff learning rule

Изучение правила раньше обучало одноуровневые линейные сети. Это правило является предшественником правила обратной связи и иногда упоминается как правило дельты.