Психологическая интуиция искусственных нейронных сетей
Страница 13

При анализе единственности точки экстремума применяются следующие рассуждения:

Точка минимума называется локально единственной, если в некоторой ее окрестности нет других локальных минимумов. Считается, что - невырожденная точка минимума, если в ней выполнено достаточное условие экстремума второго порядка (,).

Доказано, что точка минимума (строго) выпуклой функции (глобально) единственна.

Проблема устойчивости решения возникает в связи со следующим кругом вопросов:

* Пусть метод оптимизации приводит к построению минимизирующей последовательности, следует ли из этого ее сходимость к решению?

* Если вместо исходной задачи минимизации решается задача, сходная с ней, можно ли утверждать близость их решений?

В [77] приводится следующее определение устойчивости:

Точка локального минимума называется локально устойчивой, если к ней сходится любая локальная минимизирующая последовательность, то есть если найдется такое, что из следует .

При обсуждении проблемы устойчивости решения задачи оптимизации можно выделить следующие важные теоремы.

* Точка локального минимума непрерывной функции локально устойчива тогда и только тогда, когда она локально единственна.

* Пусть - локально устойчивая точка минимума непрерывной функции , а - непрерывная функция. Тогда для достаточно малых функция имеет локально единственную точку минимума в окрестности и при .

* Пусть - невырожденная точка минимума , а функция непрерывно дифференцируема в окрестности точки . Тогда для достаточно малых существует - локальная точка минимума функции в окрестности , причем .

Помимо качественной характеристики точки минимума (устойчива она или нет) существенным является вопрос количественной оценки устойчивости. Такие оценки, позволяющие судить о близости точки к решению , если близко к записываются следующим образом:

Для сильно выпуклых функций:

,

где - константа сильной выпуклости.

Для невырожденной точки минимума:

Страницы: 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46