1.6 алгоритмы и методы безусловной оптимизации

Как было показано в предыдущем параграфе данной главы, решение основных задач восстановления зависимостей достигается при помощи процедуры оптимизации функционала качества.

Ее решение будет рассмотрено в подходах задачи безусловной минимизации гладкой функции [77].

Данная задача непосредственно связана с условиями существования экстремума в точке:

* Необходимое условие первого порядка. Точка называется локальным минимумом на , если найдется для . Согласно теореме Ферма если - точка минимума на и дифференцируема в , то .

* Достаточное условие первого порядка. Если - выпуклая функция, дифференцируемая в точке и , то - точка глобального минимума на .

* Необходимое условие второго порядка. Если - точка минимума на и дважды дифференцируема в ней, то .

* Достаточное условие второго порядка. Если в точке дважды дифференцируема, выполнено необходимое условие первого порядка () и , то - точка локального минимума.

Условия экстремума являются основой, на которой строятся методы решения оптимизационных задач. В ряде случаев условия экстремума хотя и не дают возможности явного нахождения решения, но сообщают много информации об его свойствах.

Кроме того, доказательство условий экстремума или вид этих условий часто указывают путь построения методов оптимизации.

При обосновании методов приходится делать ряд предположений. Обычно при этом требуется, чтобы в точке выполнялось достаточное условие экстремума. Таким образом, условия экстремума фигурируют в теоремах о сходимости методов.

И, наконец, сами доказательства сходимости обычно строятся на том, что показывается, как «невязка» в условии экстремума стремится к нулю.

При решении оптимизационных задач существенны требования существования, единственности и устойчивости решения.

Существование точки минимума проверяется при помощи теоремы Вейерштрасса:

Пусть непрерывна на и множество для некоторого непусто и ограничено. Тогда существует точка глобального минимума на .