Психологическая интуиция искусственных нейронных сетей
Страница 19

Предлагается следующий алгоритм решения такой задачи: через несколько циклов после начала обучения нейронной сети включаем процедуру вычисления показателей значимости. Момент начала запуска данной процедуры желательно подбирать индивидуально в каждом конкретном случае, поскольку в первые несколько циклов обучения нейросеть как-бы "рыскает" в поисках нужного направления и показатели значимости могут меняться на диаметрально противоположные. Далее происходит несколько циклов обучения, в ходе которых накапливаются показатели чувствительности в какой-либо норме.

1)

2)

где - норма для i-го сигнала, - оценка значимости i-го сигнала в k-м примере, M - число циклов подсчета значимости. После того, как показатели подсчитаны, можно произвести уменьшение числа входных сигналов. Уменьшение следует производить исходя из того, что чем меньше значение тем менее оно влияет на процесс обучения.

2.3 Контрастирование сети по значимости вопросов теста

Таким образом, наряду с вычислением показателей значимости для оценки степени обученности нейросети, определением групп значимых сигналов появляется возможность на ранних этапах отсеивать сигналы, маловлияющие на процесс обучения и работу обученной нейросети.

Однако следует отметить, что данный алгоритм не страхует от того, что параметр, оказавшийся неважным в начале обучения, не станет доминирующим при окончательном доучивании нейронной сети.

Исходя из таких посылок, автор произвел расчет параметров значимости сигналов (вопросов) опросника ЛОБИ. При выборе сигналов с максимальной значимостью был получен список номеров вопросов, важных для определения данного типа, причем он в существенной части совпадал с ключевой выборкой для данного типа по ЛОБИ. При отсечении малозначимых входов был получен интересный результат - качество обучения сети существенно улучшилось (на 2-х таких сетях был получен результат 95.24% и 90.48%, или 20 и 19 правильных ответов из 21 тестового примера). Какой же вывод позволяет сделать данный результат?

Из самых грубых оценок необходимого объема экспериментальной выборки при создании тестовой методики следует, что если размерность "ключевой последовательности" составляет N вопросов, то для вычисления весовых коэффициентов при этих вопросах необходимая выборка должна составлять порядка N*N примеров. Как раз примерно такое соотношение (N - порядка 15, N*N - порядка 200) имело место в описанном эксперименте. Однако следует помнить, что множество вопросов теста, как правило, гораздо шире, чем необходимо для диагностики данного признака, поскольку методики в большинстве своем предназначены для определения нескольких признаков. А, следовательно, возникает следующая проблема: для определения параметров модели требуется M*M примеров, где M - общее число вопросов. Стоит, видимо, напомнить, что для методики ЛОБИ, например, M=162, тогда число примеров должно составить 26244, что практически нереально для практика - одиночки, не имеющего за спиной мощного исследовательского центра.

В случае же, когда выборка имеет недостаточный размер, возникает феномен "ложных корреляций" - модель определяет влияние на выходной результат тех параметров, которые на самом деле слабо с ним коррелируют. Именно такие "ложные корреляции" и вызывают ошибки при отнесении исследуемых к классу наличия или отсутствия диагностируемого типа.

2.4 Результаты экспериментов с контрастированными сетями

Страницы: 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46