Статья опубликована в №63 (ноябрь) 2018
Разделы: Математика
Размещена 05.11.2018. Последняя правка: 06.11.2018.
Просмотров - 1792

Модификации метода Тейла-Сена для случая множественной и нелинейной регрессии

Некрасов Сергей Александрович

д.т.н.

Южно-Российский государственный политехнический университет

профессор

Шестопал О.В., аспирант кафедры прикладной математики Южно-Российского государственного политехнического университета имени М.В.Платова

УДК 519.6 : 621.316

Неизвестную нам связь между выходной величиной Y и факторами X_l обозначим в виде Y=f(X_l, …, X_n), где n – объем выборки X_l, …, X_n.

Робастная множественная регрессия

Обзор методов построения робастной регрессии можно найти в [1-6].

В значительной степени эти подходы используют функции Хубера, основанные на оценке медианы абсолютного отклонения [1-4].

Одним из зарекомендовавших себя робастных методов статистики является метод Тейла-Сена. Как правило, его применяют для построения одномерной линейной регрессии. В литературе сообщается о нескольких вариантах его обобщения на случай многомерной линейной регрессии. Наиболее зарекомендовал себя медианный метод на основе метода Гаусса-Зейделя.

Сформулируем его в следующем виде. Предположим, что требуется построить робастную многомерную линейную регрессию в Rⁿ: y=a₀ +a₁x₁+…+a_nx_n. Для отыскания ее коэффициентов применим медианный метод на основе процедуры Гаусса-Зейделя с выделением диагональных элементов:

a_k^(s+1)= Me{[y_i – y_j – a₁^(s+1)(x_1,i – x_1,j) –…– a_k–1^(s+1)(x_k–1,i – x _k–1,j) –

a_k+1^(s)(x_k+1,i – x _k+1,j)–…– a_n^(s)(x_n,i – x _n,j)]/ (x_k,i – x _k,j)}, k=1,…,n;

a₀^(s+1)= Me(y_i – a₁^(s+1)x_1,i –…– a_n^(s+1)x_n,i);

где Me – статистическая оценка медианы по парам точек выборки i,j=1,…,n(i не равно j); s– номер итерации по методу Зейделя.

Понятно, что должно быть задано начальное приближение, которое может быть выбрано разнообразными способами, например, часто нулевым.

Записанная система уравнений относительно коэффициентов  a₀,a₁,…,a_n является, вообще говоря, нелинейной, так как медиана не всегда обладает линейным свойством. Часто можно решать данную систему методом простой итерации или более эффективным методом Зейделя для нелинейной системы уравнений. Если у системы нет диагонального преобладания, то метод Зейделя может расходиться. Для преодоления этой проблемы автором предлагается метод решения на основе метода релаксации:

a_k^(s+1)= (1– r_k)Me{[y_i – y_j – a₁^(s+1)(x_1,i – x_1,j) –…– a_k–1^(s+1)(x_k–1,i – x _k–1,j) –

a_k+1^(s)(x_k+1,i – x _k+1,j)–…– a_n^(s)(x_n,i – x _n,j)]/ (x_k,i – x _k,j)} + r_ka_k, k=1,…,n;

a₀^(s+1)= Me(y_i – a₁^(s+1)x_1,i –…– a_n^(s+1)x_n,i);

r_k– коэффициент релаксации.

Пример. Построить робастную линейную регрессию в R²: y=a₀ +a₁x₁ +a₂x₂ по данным статистической выборки из 10-100 точек, равномерно распределенных в единичном квадрате. Точное решение – уравнение плоскости y= 1+ x₁ + 10x₂. Выборочные значения функции y_iполучались суммированием точных значений с равномерно распределенным шумом с амплитудой 0.25. Примерно в одном из 10 случаев моделировался выброс, равный 1.

Сходимость достигалась менее чем за 10 итераций. Коэффициенты регрессии вычислялись с точностью от 20% до 7% .

 Обобщение метода Тейла-Сена на случай нелинейной регрессии

Наиболее употребительной является полиномиальная регрессия [1].

Сформулируем метод в следующем виде. Предположим, что требуется построить робастную квадратическую регрессию: y=a₀ +a₁x+a₂x². Если применить для отыскания ее коэффициентов медианный метод на основе процедуры Гаусса-Зейделя с выделением диагональных элементов по аналогии с линейной регрессией, то очень часто имеет место расходимость итерационного процесса. Система уравнений и соотношения метода Зейделя при этом имеют вид:

a₁= Me[y_i – y_j – a₂(x_i ²– x_j²)]/ (x_i – x _j)],

a₂= Me[y_i – y_j – a₁(x_i– x_j)]/ (x_i ²– x_j²)],

                                  a₀= Me(y_i – a₁x_i – a₂x_i ²);                                                 (1)

a₁^(s+1)= Me[y_i – y_j – a₂^(s)(x_i ²– x_j²)]/ (x_i – x _j)],

a₂^(s+1)= Me[y_i – y_j – a₁^(s+1)(x_i– x_j)]/ (x_i ²– x_j²)],

a₀^(s+1)= Me(y_i – a₁^(s+1)x_i – a₂^(s+1)x_i ²);

где Me – статистическая оценка медианы по парам точек выборки: i,j=1,…,n (i не равно j); s – номер итерации по методу Зейделя.

Для сходимости часто требуется задание очень точного начального приближения.

Требуемое количество итераций часто является непомерным. Автором предложена эффективная вычислительная процедура решения системы медианных уравнений. Перепишем первое уравнение системы в виде:

a₁= Me[(y_i– y_j)/(x_i–x_j)– a₂(x_i+x_j)].

Учтем, что корреляция двух слагаемых под знаком медианы относительно мала. Уравнение запишем в виде:

a₁= Me[(y_i– y_j)/(x_i–x_j)] – a₂Me[x_i+x_j] + r,

где невязка

r = Me[(y_i – y_j)/(x_i – x _j)– a₂(x_i + x _j)] – Me[(y_i – y_j)/(x_i – x _j)+ a₂(x_i + x _j)]    (2)

часто, если не как правило, принимает относительно малые значения. Выразим второй коэффициент через первый:

a₂= {Me[(y_i – y_j)/(x_i – x _j)] – a₁ + r }/ Me[x_i + x _j];                (3)

и далее подставим это выражение в общее уравнение регрессии y=a₀ +a₁x+a₂x²:

y=a₀ + a₁x + x²{Me[(y_i – y_j)/(x_i – x _j)] – a₁ + r }/ Me[x_i + x _j],

откуда

y₁(x) = y(x) – x²{Me[(y_i – y_j)/(x_i – x _j)] + r}/ Me[x_i + x _j],

y₁(x) = a₀ + a₁(x– x²/Me[x_i + x _j]) = a₀ + a₁x₁,

откуда находим медианную оценку:

a₁= Me[(y_1i– y_1j)/(x_1i–x_1j)].                            (4)

Далее система (1)-(4) решается методом Зейделя в следующем порядке: построение вариационного ряда, вычисление Me[x_i+x_j], выборочных значений y_i. Следующий шаг – вычисление Me[(y_i– y_j)/(x_i–x_j)] и далее в цикле итерационного метода Зейделя поправка r, значения x_1i,y_1i, соответственно (4) значение a₁, согласно (1) значениеa₀, и наконец значение a₂, в соответствии с (3).

Пример. Построить робастную нелинейную регрессию: y= a₀ +a₁x+a₂x² по данным статистической выборки из 10-100 точек, равномерно распределенных на интервале (0,1). Точное решение – уравнение параболы y= 1+ x+x². Выборочные значения функции y_iполучались суммированием точных значений с равномерно распределенным шумом с амплитудой 0.5. Примерно в одном из 10 случаев моделировался выброс, равный 5.

Сходимость достигалась за 1-2 итерации. Коэффициенты регрессии вычислялись с точностью от 20% до 7% (Рисунок 1).

Рисунок 1. Вычисление коэффициентов нелинейной регрессии

На рисунке МТС2 обозначает нелинейный вариант метода Тейла-Сена, MNK – метод наименьших квадратов, 100 точек, выбросы через 10 точек, равны 5. Пять итераций. Точность МТС2 много выше.

На рисунке 2 точки и черная линия – это выборочные значения и точное решение, синяя линия – робастный нелинейный вариант метода Тейла-Сена (высокая точность), красная линия – метод наименьших квадратов (точность плохая).

 

 

Рисунок 2. Кривые нелинейной регрессии

 

1. Хампель Ф., Рончетти Э., Рауссеу П., Штаэль В. Робастность в статистике. Подход на основе функций влияния = Robust statistics: the approach based on influence functions. – М.: Мир, 1989.
2. Шестопал, О.В. Робастные методы получения адекватных статистических моделей// Известия высших учебных заведений. Северо-Кавказский регион. Технические науки. – ЮФУ (Ростов-на-Дону) ISSN: 0321-2653; DOI: 10.17213/0321-2653-2018-1. – 2018. – № 1(197). – С. 18-23.
3. Robert G. Staudte: Robust estimation and testing. Wiley, New York 1990. ISBN 0-471-85547-2
4. Хьюбер, П. Робастность в статистике. – М.: Мир, 1984.
5.Мирмович Э.Г. Некрасов О.Г. Интерполирование и аппроксимация данных полиномами степенного, экспоненциального и тригонометрического вида // Научные и образовательные проблемы гражданской защиты. Научный журнал. Химки: АГЗ МЧС России. № 4. 2010. С. 23–32. http://www.amchs.ru/images/stories/ucheba/ng/4_2010.pdf
6.Некрасов О.Н. Аппроксимация экспериментальных данных на основе линеаризуемых функций // Научные и образовательные проблемы гражданской защиты. Научный журнал. Химки АГЗ МЧС России. №1. 2008. – С. 81–88.

Рецензии:

5.11.2018, 14:41 Мирмович Эдуард Григорьевич
Рецензия: Работа хорошая, есть элементы (хоть и небольшие) новизны, использование медианного распределения при оценке отклонений рецензенту нравятся. Грамматику и синтаксис подправить, пробелы и др. аспекты формативрования подправить.Рецензенту хотелось бы, чтобы автор посмотрел работы, которые есть в Интернете: 1.Мирмович Э.Г. Некрасов О.Г. Интерполирование и аппроксимация данных полиномами степенного, экспоненциального и тригонометрического вида // Научные и образовательные проблемы гражданской защиты. Научный журнал. Химки: АГЗ МЧС России. № 4. 2010. С. 23–32. http://www.amchs.ru/images/stories/ucheba/ng/4_2010.pdf 2.Некрасов О.Н. Аппроксимация экспериментальных данных на основе линеаризуемых функций // Научные и образовательные проблемы гражданской защиты. Научный журнал. Химки АГЗ МЧС России. №1. 2008. – С. 81–88. Может окажется возможным ссылку дать в обзорной части. Рекомендetncz к публикации после учёта замечаний рецензента. С уважением к автору.

8.11.2018, 10:49 Мирмович Эдуард Григорьевич
Рецензия: К сожалению, рецензент сделал описку - исправьте, пожалуйста. Олег Николаевич Некрасов, замечательный учёный-математик из АГЗ МЧС России, в сотрудничестве с которым у рецензента в период его работы там опубликована совместная статья по методам аппроксимации, в одной из ссылок перепутаны инициалы: не О.Г., а О.Н. Извините! По замечаниям Виктора Григорьевича: практика предварительной обработки выборки при использовании математического ожидания в форме медианы (не среднего, не моды, а медианы) рекомендует отбрасывать т.н. Т-выбросы (типа supremum-infinum} использованием для этого построения эмпирической функции распределения или просто эвристически. Тогда из выборки и распределения исчезают т.н. "тяжёлые хвосты", и выводы становятся адекватнее. Или не так? Статья уже была рекомендована к публикации, и рецензент повторяет эту рекомендацию. С уважением.



Комментарии пользователей:

6.11.2018, 13:54 Соловьёв Виктор Григорьевич Отзыв: Уважаемый Сергей Александрович! С большим интересом прочитал Вашу публикацию решения задачи аппроксимации данных итерационным методом при использовании медианного распределения при оценке отклонений. Единственное, на что обращаю Ваше внимание: в работе показано сравнение метода МТС2 с методом MNK с аналитическим и графическим доказательством преимущества первого над вторым. Однако, даже по приведенному Вами графику видно явное несоответствие красной кривой линии методу MNK, так как сумма квадратов отклонений никак не минимальна, вследствие чего красная линия приподнята по оси ординат как минимум на 0.2. Тогда коэффициент k_0 должен быть существенно меньше 1.74. Рецензент не обратил на это внимание. По-всей видимости, расчет по методу MNK выполнен с ошибками. Другой вопрос, что Ваш метод дает определенные преимущества над MNK, особенно на концах отрезка. Поэтому есть смысл скорректировать данные по методу MNK и произвести соответствующие сравнения. С уважением, Виктор Григорьевич Соловьёв

6.11.2018, 21:15 Некрасов Сергей Александрович Отзыв: Уважаемый Виктор Григорьевич! Вы не обратили внимание на условия проведения вычислительного эксперимента с МНК. Моделировались большие выбросы (10%). На графике они из-за масштаба не видны. Они-то (эти большие положительные выбросы) и потянули кривую МНК вверх. А кривая МТС2 по причине отличной устойчивости к выбросам медианной оценки почти не сдвинулась от нормального положения. С уважением, Некрасов С.А.

Оставить комментарий