Адаптивное параметрическое оценивание квадратно-корневыми информационными алгоритмами - (диплом)
p>После раскрытия скобок, опять используя уравнение (2. 1. 14), имеем:Далее следует:
(2. 2. 5)
Наконец, используя (2. 1. 4), (2. 1. 5) и (2. 1. 15), получаем, что матрица, находящаяся внутри квадратных скобках выражения (2. 2. 5), является просто матрицей, что и доказывает (2. 2. 3).
Доказательство (2. 2. 4) основано на существовании ортогональных преобразований между определенными переменными ККИФ и остаточной ковариационной матрицей. Для упрощения записи положим, что
и
Используя обычную матричную алгебру и уравнения (2. 1. 4), (2. 1. 5), (2. 1. 6) и (2. 1. 15) можно показать, что выполняется следующее равенство:
Следовательно, если положить
(2. 2. 6)
получаем, что
- ортогональная матрица. Переписав (2. 2. 6) в виде
имеем
Из выражений для и получаем значения для детерминантов:
тогда имеем
Взяв логарифм от обеих частей выше записанного выражения и используя тот факт, что
получаем верное тождество для (2. 2. 4).
Простое преобразование формул, полученных выше, где шум наблюдения или измерения также является зависимым параметром, дает следующую формулу обратного логарифма функции правдоподобия в терминах ККИФ:
2. 3. Градиент функции максимального правдоподобия
Для вычисления градиента , прежде всего, заметим, что градиент части, зависящей от модели (см. (2. 2. 2)), записывается следующим образом:
Так как матрицы и треугольные, а точнее верхнетреугольные, то только их диагональные элементы должны быть вычислены. Диагональные элементы первых трех матриц могут быть вычислены недорогим частичным обращением соответствующих величин ККИФ. Диагональные элементы последних двух матриц могут быть вычислены с использованием метода, описанного в разделе 2. 4.
Для градиента части, зависящей от данных, функции максимального правдоподобия, мы используем соотношение для изменения уравнений измерения ККИФ: ,
где - ортогональная матрица. Находя нормы от обеих частей равенства, получаем что: .
Из последнего равенства имеем, что:
где значения может быть получено дифференцированием ККИФ, как показано в разделе 2. 4. Значения матрицы получаются путем дифференцирования соотношения:
Таким образом:
(2. 3. 1)
Между тем, матрица - верхнетреугольная и должна равняться , где - верхнетреугольная часть матрицы на левой стороне (2. 3. 1) и - диагональная часть. И тогда, находится с помощью метода обратной подстановки решения треугольных систем. Подводя итог выше сказанному, имеем, что градиент обратного логарифма функции максимального правдоподобия приобретает вид:
,
где все входящие величины являются либо входными значениями КИИФ, либо легко находятся путем решения треугольных систем.
Для выражения информационной матрицы Фишера в терминах ККИФ, вспомним, что - ый элемент матрицы Фишера записывается как:
Т. к. - случайный процесс с нулевым средним, то
(2. 3. 2)
где - -ая величина во временной последовательности, представляющей . Переписывая (2. 3. 2), используя ККИФ-форму представления , имеем, что - ый элемент матрицы Фишера приобретает вид:
Эта формула может быть использована и при замене ожидаемых значений переменных и вычисленными.
2. 4. Значения производных переменных ККИФ
Теперь дадим численно эффективный и точный метод для вычисления значений, , которые необходимы в формулах раздела 2. 3. Для упрощения понимания положим, что преобразования ККИФ (2. 1. 10) и (2. 1. 13) имеют вид:
(2. 4. 1)
где - прямоугольная матрица, - ортогональная, которая при умножении с дает верхнюю трапециевидную матрицу . Элементы матрицы дифференцируемые функции параметра . Тогда, при заданных значениях производных , мы хотим определить матрицу . Явно прослеживается обобщение на случай ККИФ - преобразований и параметр заменяется вектором . Вдобавок, мы потребуем, чтобы и, следовательно, были квадратными и невырожденными. Для более полного представления ситуации, вначале остановимся на достаточно очевидном решении этой проблемы, однако, которое может вызвать определенные вычислительные трудности и, поэтому, не рекомендуется. Данный подход основан на использовании (2. 4. 1) и решении следующего уравнения:
,
далее прямое дифференцирование дает:
(2. 4. 2)
Используя тот факт, что и, следовательно, - верхнетреугольные, (2. 4. 2) может быть использовано для вычисления элементов . Для этого применяется алгоритм прямой подстановки, который является стандартным алгоритмом решения линейных систем. Вычислительные сложности могут возникнуть, когда матрица и, следовательно, плохо обусловлены (т. е. почти вырождены). Алгоритм прямой подстановки в этом случае может давать, мягко говоря, неточные результаты.
Выбранный метод базируется на том наблюдении, что если матрица - ортогональная, то выполняется следующее равенство: . Дифференцируя это уравнение, находим, что или (2. 4. 3)
Матрица , которая удовлетворяет соотношению - кососимметричная. Очевидно, что такая матрица имеет следующий вид: , где - строго нижнетреугольная. Поэтому (2. 4. 3) можно переписать в следующем виде: (2. 4. 4)
для некоторой нижнетреугольной матрицы .
Лемма: Нижнетреугольная матрица в соотношении (2. 26), где удовлетворяет (2. 4. 1), причем - невырождена, является нижнетреугольной частью матрицы , причем (2. 4. 5),
где соответственно нижнетреугольная, диагональная и верхнетреугольная матрицы и удовлетворяет (2. 4. 4). Доказательство:
Продифференцировав равенство (2. 4. 1), получаем:
(2. 4. 6)
из которого имеем:
Используя тот факт, что
получаем, что
(2. 4. 7)
Далее, так как и верхнетреугольные матрицы, то и и также верхнетреугольные. Поэтому, нижнетреугольная часть должна в точности соответствовать нижнетреугольной части с обратным знаком. Следовательно, если , то
Уравнение (2. 4. 7) дает метод для вычисления . Подстановкой (2. 4. 5) и (2. 4. 4) в (2. 4. 7) получаем, что (2. 4. 8)
и, таким образом, имеем
Тем самым получаем путь нахождения:
вычислить ;
привести к виду ;
вычислить
и результатом будет .
Уравнение (2. 4. 8) показывает всю опасность применения (2. 4. 6) непосредственно. Из соотношения (2. 4. 8) находим:
Первым слагаемым является , а вторым - . Записанное в таком виде соотношение (2. 4. 8), включает и в первое, и во второе слагаемое матрицу, но с разными знаками. Более того, матрица полная, то есть исключение происходит по всей матрице . Если значение матрицы небольшие, в сравнении с элементами матриц и , тогда сумма вычисляется достаточно точно. Однако если некоторые из элементов велики, тогда соответствующие элементы суммы будут неточны вследствие большого исключения элементов и результат в целом будет неточен.
2. 5. Описание алгоритма
Идеи, высказанные в разделе 2. 4, могут быть использованы для создания очень небольшого и сжатого алгоритма вычисления обратного логарифма функции правдоподобия, его градиента и величин, входящих в выражение для информационной матрицы Фишера.
Пусть определяет собой вектор параметров, по которым функция правдоподобия должна быть продифференцирована. Для вычисления, для каждого i, мы преобразуем уравнение изменения параметров наблюдающей модели следующим образом:
М1: Заменим (2. 1. 10) на
,
где первые два столбца повторяются для каждого .
М2: Вычислить для каждого :
М3: Вычислить для каждого :
Заметим, что на шаге М2, матрица, которая должна быть обращена верхнетреугольная. Следовательно, результат обращения может быть получен с помощью метода обратной подстановки.
Метод раздела 2. 4, для нахождения величин , мы не можем применить напрямую к уравнению предсказания состояния (2. 1. 13), т. к. матрица, которая должна быть приведена к треугольному виду неквадратная, следовательно, необратимая. Однако этот алгоритм может быть применен при работе с подматрицами.
Т1: Заменим (2. 1. 13) следующим соотношением:
где первые два столбца повторяются для каждого и , как в (2. 1. 13) Т2: Вычислить для каждого :
здесь * - обозначение для первых q столбцов, не представляющих для нас интереса.
Т3: Вычислить для каждого :
Соотношение для определяется дифференцированием уравнения:
и заменой производной , используя (2. 4. 4), значением вычисленным на шаге Т1. Заметим также, что , необходимое для этого последнего уравнения, легко вычисляется, т. к.
где - верхнетреугольная.
Но самое интересное, что значения , необходимые для вычисления матрицы Фишера, вычисляются автоматически на шаге М3.
Отзыв
научного руководителя
на дипломную работу М. Ю. Кудрявцева
Тема работы ”Адаптивное параметрическое оценивание квадратно-корневым информационным алгоритмом” продиктована необходимостью проведения широкого спектра исследований по сравнительным оценкам различных подходов к проблеме идентификации моделей систем.
