|
|
ОглавлениеОрганизационно-экономическое моделирование: теория принятия решений. Предисловие Часть I. Основы теории принятия решений. Глава 1. Введение в теорию принятия решений Глава 2. Простые методы принятия решений Глава 3. Основы теории управления Глава 5. Регрессия, корреляция и прогнозирование Глава 6. Анализ динамики цен и использование индексов инфляции при принятии управленческих решений Часть III. Экспертные технологии принятия решений. Глава 7. Процедуры экспертных оценок Глава 8. Организация работы экспертной комиссии Глава 9. Теория измерений и экспертные оценки Глава 10. Методы средних рангов Глава 11. Математические методы анализа экспертных оценок Глава 12. Бинарные данные и парные сравнения Глава 13. Рейтинги (обобщенные показатели) Глава 14. Примеры разработки управленческих решений на основе экспертных оценок Часть IV. Моделирование в теории принятия решений. Глава 15. Основы моделирования Глава 16. Экономико-математические модели и принятие решений Глава 17. Принятие решений на основе моделей обеспечения качества Для бесплатного чтения доступна только часть главы! Для чтения полной версии необходимо приобрести книгуГлава 5. Регрессия, корреляция и прогнозирование5.1. Восстановление линейной зависимости между двумя переменнымиОдним из наиболее важных этапов эконометрического моделирования является восстановление (выявление) зависимости между переменными на основе статистических данных, которая затем используется при организационно-экономическом моделировании, в частности для прогнозирования, оптимизации принятия решений. Начнем с задачи точечного и доверительного оценивания линейной функции одной переменной x(t) = at + b. Исходные данные — набор n пар чисел (tk, xk), k = 1, 2, ..., n, где tk — независимая переменная (например, время), а xk — зависимая (например, индекс инфляции, курс доллара США, объем месячного производства или размер дневной выручки торговой точки). Предполагается, что переменные связаны линейной зависимостью где a и b — параметры, неизвестные статистику и подлежащие оцениванию, а ek — погрешности, искажающие зависимость. Обычно оценивают параметры a и b линейной зависимости методом наименьших квадратов. Затем восстановленную зависимость используют, например, для точечного и интервального прогнозирования. Метод наименьших квадратов. Немецкий математик Ф. Клейн, тщательно изучавший научное наследство своего великого соотечественника К. Гаусса, писал, что метод наименьших квадратов был разработан К. Гауссом в 1795 г. [29, с. 37]. (Как много позже сказано в [46, с. 181], «Гаусс указывает две даты: 1794 г. и 1795 г. Современные исследователи склонны считать, что верная дата — это 1794 г.».) Согласно этому методу для расчета наилучшей функции, приближающей линейным образом зависимость x от t, следует рассмотреть функцию двух переменных Оценки метода наименьших квадратов — это такие значения a* и b*, при которых функция f(a, b) достигает минимума по всем значениям аргументов. Чтобы найти эти оценки, надо вычислить частные производные от функции f(a, b) по аргументам a и b, приравнять их 0, затем из полученных уравнений найти оценки: Имеем: Преобразуем правые части полученных соотношений. Вынесем за знак суммы общие множители 2 и (-1). Затем рассмотрим слагаемые. Раскрыв скобки в первом выражении, получим, что каждое слагаемое разбивается на три. Во втором выражении также каждое слагаемое есть сумма трех. Значит, каждая из сумм разбивается на три суммы. Имеем: Приравняем частные производные 0. Тогда в полученных уравнениях можно сократить множитель (-2). Оценки метода наименьших квадратов находим из системы двух линейных уравнений с двумя неизвестными a и b: Запись решения этой системы будет более компактной, если использовать не суммы, а средние арифметические: Разделив обе части уравнений на n, перейдем к системе: Из второго уравнения получаем, что Подставим в первое уравнение: Раскрыв скобки, решаем это линейное уравнение с одной переменной a. Получаем оценки метода наименьших квадратов: Следовательно, восстановленная функция имеет вид С точки зрения теории оптимизации равенство частных производных нулю — необходимое условие экстремума, но недостаточное. Однако в силу единственности решения системы линейных уравнений равенства (5.1) дают точку минимума, поскольку существование минимума вытекает из того, что в качестве области определения непрерывной функции f(a, b) может рассматриваться некоторое ограниченное замкнутое множество. Если же имеются априорные ограничения на параметры, то формулы (5.1) не всегда применимы. Например, пусть x(t) — издержки производства при выпуске продукции объема t. Тогда параметры линейной зависимости имеют экономическую интерпретацию: b — постоянные издержки (вне зависимости от объема производства), a — переменные издержки (на одну единицу выпущенной продукции). Очевидно, постоянные издержки неотрицательны: b > 0. Однако при расчетах по формулам (5.1) при «неудачных» исходных данных может быть получено значение b* < 0. Очевидно, отрицательным значением постоянных издержек пользоваться нельзя. В таком случае можно порекомендовать принять в исходной модели b = 0 и методом наименьших квадратов найти наилучшую оценку единственного параметра — переменных издержек a. Пример 5.1. Пусть даны n = 6 пар чисел (tk, xk), k = 1, 2, ..., 6, представленных во втором и третьем столбцах табл. 5.1 (строки 1—6). Расчеты по методу наименьших квадратов удобно проводить с помощью таблицы, подобной табл. 5.1, последовательно заполняя ее столбцы либо вручную, либо на компьютере с помощью электронной таблицы EXCEL или иного программного продукта. В соответствии с формулами (5.1) для вычисления оценок метода наименьших квадратов необходимо рассчитать четыре величины: Для получения первых двух из них достаточно найти суммы чисел, представленных во втором и третьем столбцах табл. 5.1. Соответствующие суммы записаны в седьмой строке (обозначена символом ∑), а средние арифметические — в восьмой строке (∑/n). Для расчета двух оставшихся средних заполнены клетки столбцов (4) и (5), а затем проведено суммирование по этим столбцам. Все необходимые операции — поэлементное возведение в квадрат, перемножение столбцов, суммирование по столбцам — легко осуществить с помощью электронной таблицы EXCEL. Остальные столбцы табл. 5.1 используются ниже при дальнейшем развертывании алгоритмов метода наименьших квадратов. Таблица 5.1 Расчет по методу наименьших квадратов при восстановлении линейной функции одной переменной В соответствии с формулами (5.1) оценки метода наименьших квадратов для приведенных в табл. 5.1 данных таковы: а восстановленная зависимость имеет вид Варианты оценок метода наименьших квадратов. Метод наименьших квадратов рассматривается во многих литературных источниках, и формулы для оценок параметров зачастую имеют различный вид. Однако все они переходят друг в друга в результате тождественных преобразований. Для развертывания вероятностно-статистической теории нам понадобится другая параметризация линейной зависимости, а именно где a и d — параметры, неизвестные статистику и подлежащие оцениванию, а ek — погрешности, искажающие зависимость; среднее арифметическое моментов времени введено в модель для облегчения математико-статистических выкладок. Для оценивания параметров a и d необходимо, согласно методу наименьших квадратов, минимизировать функцию Как и раньше, вычисляем частные производные и приравниваем их 0. Поскольку то уравнения приобретают вид Следовательно, оценки метода наименьших квадратов имеют вид В силу соотношения (5.2) оценку а* можно записать в более симметричном виде: Эту оценку нетрудно преобразовать и к виду Следовательно, восстановленная функция, с помощью которой можно прогнозировать и интерполировать, имеет вид Обратим внимание на то, что использование в последней формуле ничуть не ограничивает ее общность. Сравним с ранее рассмотренной моделью вида Ясно, что Аналогичным образом связаны оценки параметров: Для данных табл. 5.1 в соответствии с формулой (5.3) d* = 26,83, а согласно формуле (5.4) Следовательно, прогностическая функция (т.е. восстановленная зависимость) имеет вид: Естественно, результат тот же, что и при использовании первоначальной параметризации (формы линейной зависимости). Восстановленные значения и оценка точности приближения. Следующий (второй) этап анализа данных — оценка точности восстановления (приближения) зависимости (функции) методом наименьших квадратов. Сначала рассматриваются так называемые «восстановленные значения»: Восстановленные значения — это те значения, которые полученная в результате расчетов прогностическая функция принимает в тех точках, в которых известны истинные значения зависимой переменной xi. Вполне естественно сравнить восстановленные и истинные значения. Это и сделано в столбцах (6)—(8) табл. 5.1. Для простоты расчетов в столбце (6) представлены произведения a*ti, столбец (7) отличается от (6) добавлением константы b* = 9,03 и содержит восстановленные значения. Столбец (8) — это разность столбцов (3) и (7). Непосредственный анализ столбца (8) табл. 5.1 показывает, что содержащиеся в нем числа сравнительно невелики по величине по сравнению со столбцом (3) — на порядок меньше по величине. Кроме того, знаки «+» и «-» чередуются. Эти два признака свидетельствуют о правильности расчетов. При использовании метода наименьших квадратов знаки не всегда чередуются. Однако если сначала идут только плюсы, а потом только минусы (или наоборот, сначала только минусы, а потом только плюсы), то это верный показатель того, что в вычислениях допущена ошибка (неправильно оценен коэффициент a). Верно следующее утверждение. Теорема 5.1. Справедливо тождество Доказательство этой теоремы оставляем читателю в качестве упражнения. Однако сумма по столбцу (8) дает 0,06, а не 0. Незначительное отличие от 0 связано с ошибками округления при вычислениях. Близость суммы значений зависимой переменной и суммы восстановленных значений — практический критерий правильности расчетов. В соответствии с ним сумма элементов столбца (8) должна быть мала по сравнению с элементами этого столбца. Представляет интерес относительная погрешность восстановления. В точке tk — это величина Для данных табл. 5.1 — это величины Максимальной из них является 1,59/20 = 0,08. Точность восстановления естественно выразить в процентах: В социально-экономических исследованиях точность восстановления 10—15% признается хорошей. Конечно, в астрономических вычислениях, например при восстановлении орбиты астероида Церера (именно для решения этой задачи К. Гаусс разработал метод наименьших квадратов), точность должна быть гораздо выше (т.е. рассматриваемый показатель — максимум модуля относительных погрешностей — должен быть гораздо меньше). Непараметрическая вероятностная модель. Для получения оценок параметров и прогностической функции нет необходимости обращаться к какой-либо вероятностной модели. Однако для того чтобы изучать погрешности оценок параметров и восстановленной функции, т.е. строить доверительные интервалы для a*, b* и x*(t), подобная модель необходима. Формулировка модели такова. Пусть значения независимой переменной t детерминированы, а погрешности ek, k = 1, 2, ..., п, — независимые одинаково распределенные случайные величины с нулевым математическим ожиданием и дисперсией σ2, неизвестной статистику. В остальном функция распределения погрешностей ek произвольна. Поскольку не предполагается, что эта функция входит в то или иное параметрическое семейство, то рассматриваемая модель является непараметрической. В дальнейшем неоднократно будем использовать центральную предельную теорему (ЦПТ) теории вероятностей (для разнораспределенных слагаемых) для величин ek, k = 1, 2, ..., п (с весами), поэтому для выполнения ее условий необходимо предположить, например, что погрешности ek, k = 1, 2, ..., п финитны или имеют конечный третий абсолютный момент. Каждое конкретное слагаемое (с учетом веса) должно быть бесконечно малым относительно всей суммы. Однако заострять здесь внимание на этих внутриматематических «условиях регулярности» нет необходимости [77]. Асимптотические распределения оценок параметров. Из формулы (5.3) следует, что Согласно ЦПТ оценка d* имеет асимптотически нормальное распределение с математическим ожиданием d и дисперсией σ2/п, оценка которой приводится ниже. С точки зрения математической статистики вектор оценок (a*, d*) обладает более простыми свойствами и легче поддается изучению, чем вектор оценок (a*, b*), что и является причиной введения в рассмотрение модели вида xk = a(tk -) + d + ek. Из формул (5.3) и (5.5) вытекает, что Последнее слагаемое во втором соотношении при суммировании по k обращается в 0, поэтому из приведенных формул для a* следует, что Формула (5.6) показывает, что оценка a* является асимптотически нормальной с математическим ожиданием a и дисперсией Отметим, что многомерная нормальность имеет место, когда каждое слагаемое в формуле (5.6) мало сравнимо со всей суммой, т.е. когда справедливо предельное соотношение Из формул (5.5) и (5.6) и исходных предположений о погрешностях вытекает также то, что математические ожидания оценок равны оцениваемым параметрам (в терминах математической статистики — оценки параметров являются несмещенными). Несмещенность и асимптотическая нормальность оценок метода наименьших квадратов позволяют легко указывать для них асимптотические доверительные границы и проверять статистические гипотезы, например о равенстве определенным значениям, прежде всего 0. Предоставляем читателю возможность выписать формулы для расчета доверительных границ и сформулировать правила проверки упомянутых гипотез. Асимптотическое распределение прогностической функции. Поскольку то в силу ЦПТ случайная величина x*(t) имеет асимптотически нормальное распределение. Из формул (5.5) и (5.6) следует, что т.е. рассматриваемая оценка прогностической функции является несмещенной. Поэтому Следовательно, дисперсия оценки имеет вид При этом поскольку погрешности ek независимы в совокупности и имеют нулевое математическое ожидание, то M(ekej) = 0, k ≠ j и Таким образом, с учетом найденных ранее выражений для дисперсий параметров получаем, что Итак, оценка x*(t) прогностической функции является несмещенной и асимптотически нормальной. Для практического использования ее асимптотического распределения с целью построения доверительных прогностических интервалов необходимо уметь оценивать остаточную дисперсию Оценивание остаточной дисперсии. В точках tk, k = 1, 2, ..., n имеются исходные значения зависимой переменной xk и восстановленные значения x*(tk). Рассмотрим естественную характеристику расхождения между исходными и восстановленными значениями: Величина 55 называется остаточной суммой квадратов. В соответствии с формулами (5.5) и (5.6) где Найдем математическое ожидание каждого из слагаемых: Из сделанных ранее предположений вытекает, что при n → ∞ имеем M(SSj) → σ2, i = 1, 2, ..., n. Оценив дисперсию случайной величины SS/n, можно показать, что статистика SS/n является состоятельной оценкой дисперсии σ2 В столбце (9) табл. 5.1 приведены квадраты значений из столбца (8). Их сумма — это остаточная сумма квадратов SS = 13,64. В соответствии со сказанным ранее рассчитанными по исходным данным табл. 5.1 значениями состоятельных (в смысле математической статистики) оценок дисперсии погрешностей и их среднего квадратичного отклонения являются Доверительные границы для прогностической функции. Получение состоятельной оценки дисперсии погрешностей дает возможность завершить последовательность задач, связанных с рассматриваемым простейшим вариантом метода наименьших квадратов. Исходим из установленной ранее асимптотической нормальности точечного прогноза x*(t). Не представляет труда выписывание верхней xв(t) и нижней xн(t) границ для прогностической функции: где погрешность прогноза δ(t) имеет вид Оценив дисперсию x*(t) с помощью формулы (5.7), в которую вместо неизвестной исследователю дисперсии погрешностей σ2 подставлена ее оценка, получаем окончательный вид формулы для расчета полуширины доверительного интервала: где p — доверительная вероятность, U(p) — квантиль нормального распределения порядка (1 + р)/2, т.е. При p = 0,95 (наиболее применяемое значение) имеем U(p) = 1,96. Для других доверительных вероятностей соответствующие значения квантилей можно найти в статистических таблицах (см., например, [7]). Пример 5.2. Продолжим анализ данных табл. 5.1, исходя из описанной ранее вероятностно-статистической модели. Рассмотрим распределения оценок параметров. Оценка d* имеет асимптотически нормальное распределение с математическим ожиданием d и дисперсией, которая оценивается как (σ2)*/n = 2,27/6 = 0,38 (здесь считаем, что 6 — «достаточно большое» число, что, конечно, можно обосновать, изучив точность приближения методом статистических испытаний или иным). Оценкой среднего квадратичного отклонения является 0,615. Следовательно, при доверительной вероятности 0,95 доверительный интервал для параметра d имеет вид (26,83 - 1,96 х 0,615; 26,83 + 1,96 х 0,615) = (25,625; 28,035). В формулах для дисперсий участвует величина, которую можно представить двумя способами: Подставив численные значения (табл. 5.1), получаем, что Дисперсия оценки а* коэффициента при линейном члене прогностической функции оценивается как 2,27/63,1 = 0,036, а среднее квадратичное отклонение — как 0,19. Следовательно, при доверительной вероятности 0,95 доверительный интервал для параметра а имеет вид (3,14 - 1,96 х 0,19; 3,14 + 1,96 х 0,19) = (2,77; 3,51). Прогностическая функция с учетом погрешности имеет вид (при доверительной вероятности 0,95) В этой записи сохранено происхождение различных составляющих. Упростим: Например, при t = 12 эта формула дает х *(12) = 46,71 ± 2,65. Следовательно, нижняя доверительная граница — это 44,06, а верхняя доверительная граница — это 49,36. Насколько далеко можно прогнозировать? Обычный ответ таков: до тех пор, пока сохраняется тот стабильный комплекс условий, при котором справедлива рассматриваемая зависимость. Изобретатель метода наименьших квадратов К. Гаусс исходил из задачи восстановления орбиты астероида (малой планеты) Церера. Движение подобных небесных тел может быть рассчитано на сотни лет. А вот параметры комет (например, срок возвращения) не поддаются столь точному расчету, поскольку за время пребывания в окрестностях Солнца сильно меняется масса кометы. В социально-экономической области горизонты надежного прогнозирования еще менее определены. В частности, они сильно зависят от решений государственных органов. Чтобы выявить роль погрешностей в прогностической формуле, рассмотрим формальный предельный переход t → ∞. Тогда входящие в формулу (5.8) величины 9,03; 1/6; 5,67 становятся бесконечно малыми и Таким образом, погрешности составляют около 100 х 0,37 от тренда (математического ожидания) прогностической функции. В социально-экономических исследованиях подобные погрешности считаются вполне приемлемыми. Краткое сравнение параметрического и непараметрического подходов. Во многих литературных источниках рассматривается параметрическая вероятностная модель метода наименьших квадратов. В ней предполагается, что погрешности имеют нормальное распределение. Это предположение позволяет математически строго получить ряд выводов. Так, распределения статистик вычисляются точно, а не в асимптотике, соответственно вместо квантилей нормального распределения используются квантили распределения Стьюдента, а при оценивании дисперсии погрешностей остаточная сумма квадратов SS делится не на n, а на (n - 2). Ясно, что при росте объема данных различия стираются. Рассмотренный ранее непараметрический подход не использует нереалистическое предположение о нормальности погрешностей. Платой за это является асимптотический характер результатов. В случае простейшей модели метода наименьших квадратов оба подхода дают практически совпадающие рекомендации (поскольку квантили распределения Стьюдента при росте объема выборки приближаются к квантилям нормального распределения). Это не всегда так, не всегда два подхода дают близкие результаты. Например, известно, что в задаче обнаружения выбросов методы, опирающиеся на нормальное распределение, нельзя считать обоснованными, и это их неприятное свойство было обнаружено с помощью непараметрического подхода [77, подраздел 7.2], [89, подраздел 4.2]. Внимание! Авторские права на книгу "Организационно-экономическое моделирование: теория принятия решений" (Орлов А.И.) охраняются законодательством! |
||||||||||||||||||||||
