Рассмотрим задачу

где функция

Метод сопряженных направлений состоит в построении последовательных приближений к точке минимума функции следующим образом [7]:

(21)

где - заранее выбранное начальное приближение, шаг выбирается из условия

(22)

где

То есть шаг выбирается как в методе наискорейшего спуска. А направление спуска - определяется по формуле

где

. (23)

Таким образом, метод сопряженных направлений отличается от метода наискорейшего спуска только выбором направления уменьшения функции на каждом шаге ( вместо ).

Отметим, что из (23) определяется не только антиградиентом , но и направлением спуска на предыдущем шаге. Это позволяет более полно, чем в градиентных методах, учитывать особенности функции при построении последовательных приближений (21) к ее точке минимума.

Критерием достижения заданной точности вычислений в методе сопряженных направлений обычно служат неравенства

или

Часто для уменьшения влияния накапливающихся погрешностей вычислений через каждые итераций (21) полагают т.е. производят обновление метода ( - параметр алгоритма).

Для минимизации выпуклой квадратичной функции в требуется не более итераций метода сопряженных направлений.

Пример 3. Методом сопряженных направлений найти точку минимума функции

,

если задано нулевое приближение .

Решение. - квадратичная функция, заданная в . Поэтому точка будет найдена после двух шагов метода сопряженных направлений.

Шаг 1. По формулам (21)-(23) находим:

Из условия минимума функции получим . Отсюда

Шаг 2. , откуда с учетом (13) имеем

Поэтому

,

и из условия минимума функции получим .

Подставляя найденные значения в формулу (21), получим

Точка минимума заданной функции найдена