Метод проектирования в задаче вычисления параметров многофакторной регрессионной модели

В задачах многофакторного регрессионного анализа обычно в рамках одной вычислительной процедуры рассматривается множество многофакторных регрессионных моделей, среди которых выбирается оптимальная в смысле некоторого критерия. При этом решается множество систем линейных алгебраических уравнений. Не- которые из этих систем имеют вырожденную матрицу, что приводит к срыву вычислительного процесса.

Необходимость решения систем уравнений с квадратной матрицей является следствием необходимого условия минимума целевой функции метода НК. Фундаментальная интерпретация метода НК состоит в том, что оп- тимальное решение представляет собой проекцию вектора значений моделируемого показателя на линейное пространство векторов значений факторов. Эта проек ция всегда существует и единственна, в отличие от решения системы линейных алгебраических уравнений.

В работе предлагается метод вычисления проекции на основе известного метода ортогонализации Грамма-Шмидта, который позволяет построить максимальное количество ортогональных векторов из заданной системы векторов значений факторов и вычислить проекцию вектора значений моделируемого показателя на линей- ное пространство полученных ортогональных векторов. Параметры модели вычисляются из решения системы линейных алгебраических уравнений с невырожденной матрицей.

Линейная многофакторная модель регрессионного анализа имеет следующий вид:

У = (A, X) + c , (1) где у - моделируемый скалярный показатель; A - вектор параметров модели; X- вектор факторов; c - скалярный параметр модели.

Построение модели (1) заключается в определении значений параметров A , c на основе выборки V следую-щего вида:

V = { у¹, X; i = 1 m } ,               (2)

где m - количество наблюдений значений характеристик y , X .

В силу выражения (1) возникает следующая система уравнений, связывающая значения показателя у и факторов { x j ; j = 1, n } :

n

Y = 5 a j X j + cE ,              (3)

j = 1

где n - количество факторов; Y - вектор значений показателя у ; X - вектор значений j -го фактора; E - вектор с компонентами { е. = 1; I = 1, m} .

В системе (3) количество уравнений m >> n +1, система обычно не имеет решения и поэтому согласно методу НК, рассматривается следующая оптимизационная задача: „m (JU

5 ( A опт , c опт ) = min 5 ( 5 a j c - y i I .    (4)

• A , c i = 1 V j = 1                      7

Решением задачи (4) является ортогональная проекция Y™т вектора Y на линейное пространство векторов {E, X}. Компоненты вектора Y™т определяются следующим образом y 5 а xj + c опт.

j = 1

Требуется вычислить а о пт , c ^опт на основе выборки V статистических данных.

Решение задачи. Рассматривается система векторов E , X_р X , ,..., X n . Метод Грамма-Шмидта позволяет из этой системы векторов получить систему ортогональных векторов { Z; j = 1, n * } по следующим формулам:

'      ■ Z , = E ,

. Z = X ,-   Z ,          (5)

j     j ^{- 1 5} ZZ, , Z^

*       *

j = 2, n ; n <  n + 1.

Значение n * определяется в процессе построения системы векторов { Z }. Если при вычислении вектора Z_k получается нулевой вектор, то вектор X_k исключается из рассмотрения и вместо него рассматривается вектор X_k . При этом общее количество ортогональных векторов уменьшается на единицу.

Вектор Z_k признается нулевым, если выполнено следующее условие:

m

5KI <  = .

i = 1

где £ > 0 - малая величина, например, £ = 10^-6.

Метод Грамма-Шмидта позволяет следующее:

• 1.    Получить ортогональную систему векторов Z 1 , Z ₂,..., Z n * , n * <  n + 1. Вектор E всегда входит в эту систему в качестве исходного вектора.

• 2.    Определить подсистему линейно независимых векторов { E , X_h , X 2 ₂ ,..., X j * } , на основе которых строится система ортогональны ix векторов { Z 1 , Z ₂,..., Z , } по формулам (5).

Система ортогональных векторов { Z } определяет линейное пространство размерности n * . Вектор Y ^,пт является проекцией вектора Y на это линейное пространство и может быть представлен в виде следующего разложения по ортогональному базису:

* n

Y опт = VbZ

J J j =1

Вектор Y всегда можно представить в виде следующей суммы:

Y = Y

опт

+ Y * ,

где вектор Y* ортогонален линейному пространству образованному системой векторов { Z_j }.

Тогда коэффициенты bj в формуле (6) выражаются через заданный вектор Y по формулам bj= (y,Zj)/(Zj,Z^, j = 1,n* .          (7)

Подставляя формулу (7) в (6), для вычисления ортогональной проекции получаем следующее

* n Y опт = 5

j = 1

/у / \

¹ , Zj)

\ Zj ’ Zj)

Z j .

Для вычисления оптимальных значений параметров A, с рассмотрим систему линейно независимых векторов {E, Xh, Xj2,..., Xj* }. Эти векторы принадлежат линейному пространству Z, образованному векторами Z1,Z2,.", Zn* , вектор Yопт G Z. Тогда следующая система уравнений всегда имеет единственное решение n * -1

c^E + 5 a „ ^X „ = ¹ оп- ,            (8)

k = 1

где параметры a j ^ { a j^ ; k = 1, n‘ - 1 } равны нулю. Система уравнений (8) определяет оптимальные значения параметров A , с , ее решение можно найти, например, методом Гаусса.

Результаты решения модельной задачи. Рассмотренный алгоритм решения задачи реализован [1] в виде программы на языке программирования общего назначения C++Builder 6.0.

Рассматривалась следующая модельная задача:

Г11

Г11

Значение вектора параметров модели (1)

-2

l-1JГ 41

' Y = 7

< 1,

Г c л ах a2

, a 3 >

Г 2,310 241 л 1,207 831 ⁰ 2- 0,180 723 J

Полученное решение совпадает с решением нормальной системы уравнений сформированной на основе векторов { E , X ₁, X ₃}.

В результате расчетов в соответствии с изложенным

алгоритмом получены следующие результаты (табл. 1, 2):

Таблица 1

Количество и номера независимых факторов

Количество факторов	Номера факторов
3	1 2 4

Ортогональные векторы Z ₁ , Z ₂ , Z ₃

Таким образом, в работе предложен и обоснован алгоритм вычисления параметров многофакторной регрессионной модели методом проектирования вектора значений показателя на пространство линейно независимых векторов значений факторов. Этот алгоритм не приводит к срыву вычислительного процесса в отличие от обычного решения системы нормальных уравнений.

Также рассмотрены результаты применения программной реализации алгоритма на модельной задаче.

Таблица 2

Z 1	Z 2	Z 3
1	–1	0,9
1	1	–2,4
1	3	1,3
1	–3	0,2

Значение вектора Y ^опт – проекции вектора Y на линейное пространство ортогональных векторов Z ₁, Z ₂, Z ₃

Г 3,337 349 1

Y

опт

5,933735

7,265060