1.7.1 Основные элементы
Нейронная сеть представляет собой структуру взаимосвязанных клеточных автоматов, состоящую из следующих основных элементов:
Нейрон - элемент, преобразующий входной сигнал по функции:
где x - входной сигнал, c - параметр, определяющий крутизну графика пороговой функции, а cm - параметр спонтанной активности нейрона.
Сумматор - элемент, осуществляющий суммирование сигналов поступающих на его вход:
Синапс - элемент, осуществляющий линейную передачу сигнала:
где w - “вес” соответствующего синапса.
1.7.2 Структура сети
Сеть состоит из нейронов, соединенных синапсами через сумматоры по следующей схеме:
|
|
1.7.3 Прямое функционирование сети
Сеть функционирует дискретно по времени (тактами). Тогда синапсы можно разделить на “синапсы связи”, которые передают сигналы в данном такте, и на “синапсы памяти”, которые передают сигнал с выхода нейрона на его вход на следующем такте функционирования. Сигналы, возникающие в процессе работы сети разделяются на прямые (используемые при выдаче результата сетью) и двойственные (использующиеся при обучении) и могут быть заданы следующими формулами:
Для i-го нейрона на такте времени T:
где mi0 - параметр инциации сети, xi1 - входные сигналы сети, поступающие на данный нейрон, fiT - выходной сигнал нейрона на такте времени T, Ai1 - входной параметр i-го нейрона на первом такте функционирования сети, AiT - входной сигнал i-го нейрона на такте времени T, aji - вес синапса от j-го нейрона к i-му, aMi - вес синапся памяти i-го нейрона, ai1 - параметр нейрона и ai2 - параметр спонтанной активности нейрона, AiT-1 - входной сигнал i-го нейрона на такте T-1, fjT-1 - выходной сигнал j-го нейрона на такте T-1 и fiT,A - производная i-го нейрона по его входному сигналу.
Для синапса связи от i-го нейрона к j-му:
где sjT - входной сигнал синапса от i-го нейрона к j-му, fiT - выходной сигнал i-го нейрона, aij - вес данного синапса, sijT - выходной сигнал синапса на такте времени T.
Для синапса памяти i-го нейрона:
1.7.4 Обучение сети
В данной задаче обучение будет происходить по “коннекционистской” модели, то есть за счет подстройки весов синапсов.
Суть обучения состоит в минимизации функции ошибки 
, где W- карта весов синапсов. Для решения задачи минимизации необходимо вычисление градиента функции по подстраиваемым параметрам:
1.7.5 Обратное функционирование
Расчет градиента ведется при обратном отсчете тактов времени 
по следующим формулам:
Для синапса связи:
Для синапса памяти:
Окончательно после прохождения q тактов времени частные производные по весам синапсов будут иметь вид для синапсов памяти и для синапсов связи соответственно: