Видно, что достоинства и недостатки этих методов взаимно дополнительны, что делает привлекательной идею создания модификаций этих методов, объединяющих достоинства методов и свободных от их недостатков.
Модификацией градиентного метода является метод наискорейшего спуска:
, 
.
Модификация метода Ньютона с целью придания ему свойства глобальной сходимости возможна, например, способом регулировки длины шага:
.
Такой метод называют демпфированным методом Ньютона. Возможные подходы к способу выбора шага 
:
– Вычисление по формуле 
;
– Итерационный алгоритм, заключающийся в последовательном дроблении шага 
на константу 
начиная со значения 
до выполнения условия 
, 
или условия 
, .
Демпфированный метод Ньютона глобально сходится для гладких сильно выпуклых функций.
Помимо одношаговых методов, к которым относятся градиентный метод и метод Ньютона, существует целый класс многошаговых методов, использующих для оптимизации информацию, полученную с предыдущих шагов. К ним относятся:
* Метод тяжелого шарика, использующий итерационную формулу 
, где 
, 
- некоторые параметры. Введение инерции движения (член 
) в некоторых случаях приводит к ускорению сходимости за счет выравнивания движения по «овражистому» рельефу функции;
* Метод сопряженных градиентов. Здесь параметры оптимизации находятся из решения двумерной задачи оптимизации:
,
.
Кроме всех вышеперечисленных методов оптимизации существует еще класс методов, основанных на идее восстановления квадратичной аппроксимации функции по значениям ее градиентов в ряде точек. К ним относятся:
* Квазиньютоновские методы, имеющие общую структуру 
, где матрица 
пересчитывается рекуррентно на основе информации, полученной на k-й итерации, так что 
. К числу таких методов относятся ДФП (метод Давидона-Флетчера-Пауэлла) и BFGS или БФГШ (метод Бройдена-Флетчера-Гольдфарба-Шанно) [46].
* Методы переменной метрики и методы сопряженных направлений, согласно которым метод , 
, может рассматриваться как градиентный в метрике 
, а оптимальным выбором метрики является 
.
1.7 нейронные сети
В данной работе задачи распознавания образов и восстановления зависимостей будут решаться в основном с применением нейронных сетей. Обзор данной темы основан на [1]-[6], [8]-[15], [22],[23], [32]-[34], [36]-[41], [59], [64], [67]-[70], [83]-[88].