Существование таких связей отражает наличие стохастических зависимостей между вектором x и скаляром и скаляром y. Полное знание стохастической зависимости требует восстановления условной плотности , однако, данная задача весьма трудна и на практике (например, в задачах обработки результатов измерения) может быть сужена до задачи определения функции условного математического ожидания. Эта суженная задача формулируется следующим образом: определить функцию условного математического ожидания, то есть функцию, которая каждому x ставит в соответствие число y(x), равное математическому ожиданию скаляра y: . Функция y(x) называется функцией регрессии, а задача восстановления функции условного математического ожидания - задачей восстановления регрессии.

Строгая постановка задачи такова:

В некоторой среде, характеризующейся плотностью распределения вероятности P(x), случайно и независимо появляются ситуации x. В этой среде функционирует преобразователь, который каждому вектору x ставит в соответствие число y, полученное в результате реализации случайного испытания, согласно закону . Свойства среды P(x) и закон неизвестны, однако известно, что существует регрессия . Требуется по случайной независимой выборке пар восстановить регрессию, то есть в классе функций отыскать функцию , наиболее близкую к регрессии .

Задача восстановления регрессии является одной из основных задач прикладной статистики. К ней приводится проблема интерпретации прямых экспериментов.

Задача решается в следующих предположениях:

–Искомая закономерность связывает функциональной зависимостью величину y с вектором x: .

–Целью исследования является определение зависимости в ситуации, когда в любой точке x может быть проведен прямой эксперимент по определению этой зависимости, то есть проведены прямые измерения величины . Однако вследствие несовершенства эксперимента результат измерения определит истинную величину с некоторой случайной ошибкой, то есть в каждой точке x удается определить не величину , а величину , где - ошибка эксперимента, .

–Ни в одной точке x условия эксперимента не допускают систематической ошибки, то есть математическое ожидание измерения функции в каждой фиксированной точке равно значению функции в этой точке: .

–Случайные величины и независимы.

В этих условиях необходимо по конечному числу прямых экспериментов восстановить функцию . Требуемая зависимость есть регрессия, а суть проблемы состоит в отыскании регрессии по последовательности пар .

Задача восстановления регрессии принято сводить к проблеме минимизации функционала на множестве (интегрируемых с квадратом по мере функций) в ситуации, когда плотность неизвестна, но зато задана случайная и независимая выборка пар .