Адаптивное параметрическое оценивание квадратно-корневыми информационными алгоритмами - (диплом)
p>Тогда нахождение оценки максимального правдоподобия эквивалентно минимизации следующего функционала:(1. 2. 1)
Тогда
1. 3. Методы минимизации функций многих переменных
Критерием выбора оптимума, в нашем случае этим критерием есть выражение (1. 2. 1), является функция (функционал) многих переменных и для ее минимизации будем использовать наиболее известные и часто применяемые методы минимизации функций многих переменных.
В общем случае будем рассматривать задачу
(1. 3. 1)
предполагая, что функция непрерывно дифференцируема на . Согласно определению дифференцируемости функции (1. 3. 2)
где . Если , то при достаточно малых главная часть приращения (1. 3. 2) будет определяться дифференциалом функции . Справедливо неравенство Коши-Буняковского ,
причем если , то правое неравенство превращается в равенство только при , а левое неравенство – только при , где . Отсюда ясно, что при направление наибыстрейшего возрастания функции в точке совпадает с направлением градиента , а направление наибыстрейшего убывания – с направлением антиградиента . Это замечательное свойство градиента лежит в основе ряда итерационных методов минимизации функций. Одним из таких методов является градиентный метод, к описанию которого мы переходим.
Градиентный метод. Будем считать, что некоторая точка уже выбрана. Тогда метод заключается в построении последовательности по правилу:
Существуют различные способы выбора в данном методе, но на практике нередко довольствуются нахождением какого-либо, обеспечивающего условие монотонности: . С этой целью задаются какой-либо постоянной и на каждой итерации метода берут . При этом для каждого проверяют условие монотонности, и в случае его нарушения дробят до тех пор, пока не восстановится монотонность метода. Метод Ньютона. Градиентный метод является методом первого порядка, поскольку использует лишь первые производные минимизируемой функции. Однако если минимизируемая функция дважды непрерывно дифференцируема и производные вычисляются достаточно просто, то возможно применение метода минимизации второго порядка, которые используют квадратичную часть разложения этой функции в ряд Тейлора. Широко известный метод Ньютона представляет собой итерационный процесс:
Метод сопряженных направлений. Метод сопряженных направлений является методом использующим лишь градиент функционала и описывается следующим образом:
,
где величина находится из условия
,
а вычисляется из следующих формул
Точное определение величины возможно лишь в редких случаях, поэтому реализация каждой итерации метода будет сопровождаться неизбежными погрешностями. Эти погрешности, накапливаясь, могут привести к тому, что векторыперестают указывать направление убывания функции, и сходимость метода может нарушиться. Чтобы бороться с этим явлением, метод сопряженных направлений время от времени обновляют, полагая.
1. 4. Метод квадратно-корневого информационного фильтра(ККИФ)
Пусть динамическая система с дискретным временем дана в следующем виде: (1. 4. 1)
где вектор состояния , матрица переходов из состояния в состояние , и - случайный процесс, представляющий собой белый гауссовый шум с нулевым средним и ковариацией, т. е...
Пусть множество наблюдений задается уравнением:
(1. 4. 2)
где вектор наблюдения , матрица наблюдений , и - шум: .
Предположим, что мы имеем априорный информационный массив , где - невырожденная априорная ковариация и оценки относятся к и следующим образом: ; (1. 4. 3)
где есть экстраполяционная оценка вектора состояния, а - матрица ковариации ошибки экстраполяционной оценки. Замечание: Для отфильтрованной оценки и ее матрицы ковариаций связь с информационным массивом аналогична.
Предполагая, что мы можем записать следующее равенство:
(1. 4. 4)
Тогда модель наблюдений и предсказания выглядит следующим образом: (1. 4. 5)
(1. 4. 6)
где , , - ортогональные матрицы такие, что матрицы и являются верхнетреугольными, а - остаточная ошибка, соответствующая решению наименьших квадратов. Заметим, что уравнения (1. 4. 5) и (1. 4. 6) эквивалентны уравнениям фильтра Калмана (доказательство данного факта см. в [2]). Но в отличие от традиционного фильтра Калмана, ККИФ позволяет избежать численной неустойчивости, являющейся результатом вычислительных погрешностей, поскольку вместо матриц ковариаций ошибки оценок на этапах экстраполяции и обработки измерений, по своей природе положительно определенных, ККИФ оперирует с их квадратными корнями. А это значит, что вычисления квадратного корня равносильно счету с двойной точностью для ковариации ошибок и кроме того устраняется опасность утраты матрицей ковариаций свойства положительно определенности. Недостатком данного метода является присутствие операций извлечения квадратного корня.
2. Оценивание параметров по методу максимального правдоподобия с использованием квадратно-корневых информационных фильтров
Вычисление оценки максимального правдоподобия может быть итеративно выполнено при помощи характеристического уравнения, которое включает в себя градиент обратного логарифма функции правдоподобия и информационную матрицу Фишера. Вычисления функции правдоподобия и информационной матрицы Фишера требуют применения фильтра Калмана (а также его производных для каждого параметра оценивания), который, как известно, не обладает достаточной устойчивостью. Поэтому для вычисления оценки максимального правдоподобия итеративным образом будем использовать ККИФ.
2. 1. Постановка задачи
Пусть динамическая система с дискретным временем дана в следующем виде: (2. 1. 1)
где вектор состояния , матрица переходов из состояния в состояние , и - случайный процесс, представляющий собой белый гауссовый шум с нулевым средним и ковариацией, т. е... Пусть множество наблюдений задается уравнением: (2. 1. 2)
где вектор наблюдения , матрица наблюдений , и - шум: .
Пусть также, матрицы и являются функциями неизвестного векторного параметра . Оценкой максимального правдоподобия является такое значение оцениваемых параметров, которое максимизирует вероятность события, при котором наблюдения, сгенерированные с подстановкой оцениваемых параметров, совпадают с действительными значениями наблюдений. Эта процедура эквивалентна минимизации обратного логарифма функции плотности условной вероятности, т. е. обратный логарифм функции правдоподобия представляется как:
(2. 1. 3)
где и - вычисляются согласно схеме фильтра Калмана следующим образом: (2. 1. 4)
где есть ковариационная матрица ошибки экстраполяционной оценки. Запишем другие характеристики фильтра Калмана, которые нам понадобятся в дальнейшем:
Матрица Калмана:
(2. 1. 5)
Матрица ковариаций измененной по последним данным ошибки:
(2. 1. 6)
Невязка:
(2. 1. 7)
Измененная оценка:
(2. 1. 8)
Вычисление оценки максимального правдоподобия может быть осуществлено итеративно по следующей формуле:
(2. 1. 9)
где - оцениваемый векторный параметр; - индекс, определяющий номер итерации; - информационная матрица Фишера; - градиент обратного логарифма функции максимального правдоподобия. Стоит заметить, что итеративные алгоритмы, подобные (2. 1. 9), в среднем сходятся за меньшее число шагов, чем те алгоритмы, которые включают в себя только вычисления. С другой стороны, алгоритмы, содержащие и , требуют больше вычислений на каждом шаге. Модель наблюдений, в случае ККИФ, выглядит следующим образом: (2. 1. 10)
где - ортогональная матрица такая, что - верхнетреугольная. Также, согласно (2. 1. 2) имеют вид: (2. 1. 11)
где
(2. 1. 12)
тогда шум наблюдения имеет единичную ковариацию, что удовлетворяет ККИФ. Шаг предсказывания ККИФ, описывается следующим образом:
(2. 1. 13)
где матрица представляется уравнением (1. 4. 4), - ортогональная матрица такая, что матрица является верхнетреугольной. Информационным массивом ККИФ является массив данных . Он соотносится с оценкой состояния фильтра Калмана и матрицей ковариации ошибки оценивания следующими соотношениями: (2. 1. 14)
(2. 1. 15)
2. 2. Функция правдоподобия и ее представление терминах ККИФ
Для эффективного вычисления функции максимального правдоподобия при использовании ККИФ в фильтрации данных, необходимо выразить величины, входящие в выражение для, непосредственно через значения, которые вычисляются ККИФ-ом. Таким образом, две части (2. 1. 3):
(часть, зависящая от данных) (2. 2. 1)
(часть, зависящая от модели) (2. 2. 2)
выраженные через переменные, входящие в формулы ККИФ (2. 1. 10) и (2. 1. 13), приобретают следующий вид:
(2. 2. 3)
(2. 2. 4)
Доказательство (2. 2. 3) основано на следующем уравнении:
,
где - ортогональное преобразование такое, что матрица - верхнетреугольная. Находя нормы от обеих частей равенства, получим:
Уравнение (2. 1. 14) влечет за собой, следующее выражение:
Следовательно:
Далее, используя (2. 1. 8), чтобы переписать данное выражение в следующем виде:
