Суть линейного предсказания в нахождении коэффициентов ak (k=1..p) для формулы:
p
x[n] =
∑
(ak x[n-k])
(1)
k=1
и последующем использовании этой формулы. Другими словами мы должны построить линейный многочлен, позволяющий с хорошей точностью вычислять значение любого отсчета в сигнале по значениям предыдущих p отсчетов. Коэффициенты ak и называются коэффициентами линейного предсказания.
Фактически, имея некоторый сигнал, мы имеем статистическую выборку которую можно представить в виде таблицы:
х[n-p]
х[n-p+1]
х[n-p+2]
. . .
х[n-1]
х[n]
х[0]
х[1]
х[2]
. . .
x[p-1]
x[p]
х[1]
х[2]
х[3]
. . .
x[p]
x[p+1]
х[2]
х[3]
х[4]
. . .
x[p+1]
x[p+2]
. . .
. . .
. . .
. . .
. . .
. . .
. . .
. . .
. . .
. . .
. . .
. . .
х[N-p-1]
х[N-p]
х[N-p+1]
. . .
x[N-2]
x[N-1]
То есть нахождение коэффициентов линейного предсказания сводится к вычислению коэффициентов линейной регрессии для данной статистической выборки и мы можем пользоваться методами математической статистики.
Минимизируем сумму квадратов ошибок для каждого из вычисляемых отсчетов. Ошибка для отсчета x[n] равна
p
δ[n] = x[n] —
∑
(ak x[n-k])
(2)
k=1
А минимизируемая функция равна
N-1
N-1
p
N-1
N-1
p
E =
∑
δ 2 [n] =
∑
x[n] —
∑
(ak x[n-k])) 2 =
∑
x 2 [n] — 2
∑
x[n]
∑
(ak x[n-k]) )+
n=0
n=0
k=1
n=0
n=0
k=1
N-1
p
N-1
p
N-1
+
∑
(
∑
(ak x[n-k])) 2 =
∑
x 2 [n] — 2
∑
(ak
∑
(x[n] x[n-k])) +
n=0
k=1
n=0
k=1
n=0
p
p
N-1
+
∑
∑
ak aj
∑
(x[n-k]x[n-j]))
(3)
j-1
k=1
n=0
Продифференцируем E по ak и приравняем частные производные нулю для нахождения экстремума:
N-1
p
N-1
dE/dak =
∑
(x[n] x[n-k])) +
∑
aj
∑
(x[n-k]x[n-j]))=0
(4)
n=0
j=1
n=0
Заменив для удобства восприятия j на i, а k на j получим систему p линейных уравнений c p неизвестными :
p
∑
aicij=c0j
(5.1)
i=1
N-1
cij=cji=
∑
x[n-i]x[n-j])
(5.2)
n=0
Эта система называется системой уравнений Юла-Уокера. Погрешность найденных коэффициентов оценивается как:
p
p
p
p
E = c00-2
∑
aic0i+
∑
ai
∑
ajcij = c00 —
∑
aic0i
(6)
i=1
i=1
j=1
i=1
Есть два основных подхода для решения системы уравнений Юла-Уокера.
Источник
Коэффициенты линейного предсказания (получение и расчет)
Формирование сигнала ошибки при использовании линейного предсказания эквивалентно прохождению исходного сигнала через линейный цифровой фильтр. Этот фильтр называется фильтром сигнала ошибки (ФСО) или обратным фильтром.
Обозначим передаточную функцию такого фильтра как А(z):
,
где E(z) и X(z) – прямое z — преобразование от сигнала ошибки и входного сигнала соответственно.
На приемной стороне при прохождении сигнала ошибки через формирующий фильтр (ФФ) мы в идеале получим исходный сигнал. Обозначим передаточную функцию формирующего фильтра как K(z).
Т.е. передаточная функция K(z) связана с A(z) следующим соотношением:
.
Рассмотрим последовательно соединенные кодер и декодер:
При условии, что A(z)K(z) = 1, будет обеспечено абсолютно точное восстановление сигнала, т.е. . Но это в идеале, на самом деле такого быть не может по причинам, о которых скажем ниже.
Для примера, найдем передаточные функции ФСО и ФФ для разных типов линейного предсказания.
а) предсказание нулевого порядка;
; ;
Получили, что такой фильтр неустойчив (граница устойчивости), так как полюс находится на единичной окружности.
б) предсказание первого порядка;
; ;
Получили, что и такой фильтр тоже неустойчив (граница устойчивости).
в) общая форма предсказания;
Было получено, что => .
; ;
На основании рассмотренных примеров можно сделать следующие выводы.
Фильтр сигнала ошибки всегда является КИХ фильтром, а формирующий фильтр – БИХ фильтром. Коэффициенты передаточной функции ФФ, которые, как уже было сказано выше, являются коэффициентами линейного предсказания (LPC: Linear Prediction Coefficients), должны быть такими, чтобы:
1. формирующий фильтр был устойчивым;
2. ошибка была минимальна.
Для получения передаточной функции ФФ, наиболее точно воспроизводящего частотную характеристику голосового тракта для данного звука, следует определять коэффициенты передаточной функции исходя из условия наименьшей ошибки линейного предсказания речевого сигнала (по условию минимума среднего квадрата ошибки).
Запишем выражение для оценки дисперсии сигнала ошибки, которую надо свести к минимуму:
; ;
Получили, что — функция нескольких переменных. Продифференцируем ее и приравняем частные производные для нахождения экстремума:
; ,
где — символ Кронекера. Следовательно: ;
; => ;
Получили нормальные уравнения или уравнения Юла-Волкера. Введем обозначение: , где — есть ни что иное, как корреляционная функция. Перепишем полученное выражение с учетом принятого обозначения:
(*)
Для вычисления функции необходимо определить пределы суммирования по n: , где N – количество отсчетов в сегменте РС, а M — количество отсчетов, необходимых для расчета коэффициентов предсказания (M + 1)-го отсчета. Значит, первое предсказанное значение запишется так: , где n = M + 1.
;
Таким образом, получается выражение, имеющее структуру кратковременной ненормированной АКФ, но зависящей не только от относительного сдвига последовательности i, но и от положения этих последовательностей внутри сегмента РС, которые определяются индексом k, входящим в пределы суммирования. Такой метод определения функции называется ковариационным.
Выражение (*) представляет собой систему линейных алгебраических уравнений (СЛАУ) относительно , у которых все коэффициенты различны.
При использовании ковариационного метода получаются несмещенные оценки коэффициентов линейного предсказания, то есть E<ak>= ak.ист, где ak.ист – истинные значения коэффициентов линейного предсказания.
Другой способ определения коэффициентов системы (*) состоит в том, что вместо функции используется некоторая другая функция , которая определяется как
,
где — ненормированная кратковременная АКФ. Поскольку определение функции сводится к расчету АКФ, то такой метод называется автокорреляционным. При использовании этого метода мы получаем смещенные оценки коэффициентов линейного предсказания (однако, при M
Распишем полученную систему линейных алгебраических уравнений (СЛАУ) в явном виде:
Перепишем ее в матричной форме:
;
Свойства матрицы коэффициентов системы:
1) матрица симметрична;
2) матрица Теплица (матрица, в пределах каждой диагонали которой все элементы равны);
Для решения СЛАУ с такой матрицей используется алгоритм Левинсона – Дурбина, который требует меньших вычислительных затрат, чем стандартные алгоритмы. Он выглядит следующим образом.
Источник
Обзор методов прогнозирования
Моделирование
Модель – это упрощенный образ объекта из реальной жизни, в котором отражаются его наиболее важные характеристики, с точки зрения исследования.
Что такое прогнозирование?
Прогнозирование — это предвидение (предсказание), которое предполагает состояние или описание возможных или желательных аспектов, состояний, решений, проблем будущего.
Прогноз — это результат процесса прогнозирования, выраженный в словесной, математической, графической или другой форме суждения о возможном состоянии объекта и его среды в будущий период времени. Метод – это сложный прием, упорядоченная совокупность простых приемов, направленных на разработку прогноза в целом; путь, способ достижения цели, исходящий из знания наиболее общих закономерностей. Методика – определенное сочетание приемов (способов) выполнения прогностических операций, получение и обработка информации о будущем на основе однородных методов разработки прогноза. Методология прогнозирования – область знания о методах, способах, системах прогнозирования. Система прогнозирования – это упорядоченная совокупность методик, технических средств, предназначенная для прогнозирования сложных явлений или процессов.
Одна из классификаций методов прогнозирования
Формализованные методы:
Метод эстраполяции трендов;
Методы корреляционного и регрессионного анализов;
Методы математического моделирования.
Экспертные методы прогнозирования: 1. Индивидуальные методы
Метод составления сценариев;
Метод «интервью»;
Метод аналитических докладных записок.
2. Коллективные методы
Метод анкетных опросов;
Метод «комиссий»;
Метод «мозговых атак»;
Метод «Дельфи».
Экспертиза: анкетирование, интервьюирование, метод мозговой атаки (штурма), метод контрольных вопросов, метод аналитических докладных записок, метод лицом к лицу, метод ситуационного анализа, метод суда, метод «комиссий» («круглого стола»), «дельфийская техника» (метод «Дельфи») Фактографические методы: экстраполяция, трендовая модель, тренд-анализ, интерполяция, моделирование, математическое моделирование, сценарии, «прогнозы до абсурда» и пр. Статистические методы: корреляционный анализ, регрессионный анализ, факторный анализ, распознавание образов, вариационное исчисление, спектральный анализ, цепи Маркова, алгебра логики, теория игр и др.
Признаки классификации прогнозов
Виды прогнозов
Временной охват (горизонт прогнозирования)
краткосрочные среднесрочные долгосрочные
Типы прогнозирования
экстраполятивное альтернативное
Степень вероятности будущих событий
вариантные инвариантные
Способ представления результатов прогноза
точечные интервальные
Прогнозирование продаж
1. Определение тренда (тенденции роста/падения) 2. Оценка влияния стратегии компании на развитие тренда 3. Применение коэффициентов сезонности 4. Построение прогноза продаж Экстраполяция динамических рядов предполагает, что закономерность развития, действующая в прошлом (внутри ряда динамики), сохранится и в будущем. Тренд (тенденция) — это долговременная тенденция изменения исследуемого временного ряда. Временной ряд – это числовые значения определенного статистического показателя в последовательные моменты или периоды времени. Коэффициент сезонности — это величина, на которую увеличиваются / уменьшаются продажи по сравнению со средними в определенный период времени.
Экономические циклы
Регрессионный анализ
Регрессионный анализ — статистический метод исследования влияния одной или нескольких независимых переменных X1,X2,…,Xp на зависимую переменную Y. Уравнение линейной регрессии Yх = a+b*X, где а и b оцененные коэффициенты регрессии. Регрессия — функция, позволяющая по средней величине одного признака определить среднюю величину другого признака, корреляционно связанного с первым.
Обзор категорий методов прогнозирования
Прогнозирование — это процесс построение предсказания будущего на основе исторических данных, текущих данных (текущей ситуации) и на основе анализа трендов. Риск и неопределенность являются центральными факторами для прогнозирования, поэтому в соответствии с лучшими практиками, необходимо указывать степень неопределенности по отношению к прогнозам. Корректный подход к оценке метода прогнозирования включает несколько этапов. Следует выделить пять важных этапов:
тщательное изучение природы исследуемого объекта или процесса для выбора адекватного метода прогнозирования;
выделение двух групп среди доступных данных – для разработки прогнозов и для проверки полученных результатов;
уточнение исходных данных с целью обнаружения ошибок;
разработка прогнозов и оценка достоверности полученных результатов;
использование (интерпретация) полученных результатов и выполнение, при необходимости, уточнения и дополнения прогнозов.
Категории методов прогнозирования
Качественные методы в сравнении с количественными методами
Качественные методы прогнозирования — субъективны, основаны на мнении и суждении потребителей, экспертов. Качественные методы подходят тогда, когда отсутствуют исторические данные. Данные методы применяются, как правило, для среднесрочных и долгосрочных решений. Примерами качественных методов прогнозирования являются исследование рынка, метод Делфи, историческая аналогия жизненного цикла и т.д. Количественные модели прогнозирования используются для прогнозирования будущих данных в виде функции от исторических данных. Они подходят для использования, когда исторические числовые данные доступны и когда ожидается сохранение динамики данных в будущем. Эти методы, как правило, применяются для краткосрочного и среднесрочного прогнозирования. Примерами количественных методов прогнозирования являются: скользящие средние, экспоненциальное сглаживание, мультипликативные сезонные индексы и т.д.
Метод средних
В данном подходе прогнозирования, все будущие значения принимаются равными средним значениям исторических данных. Этот подход может быть использован для любых исторических данных. Метод усреднения позволяет разработать прогноз, основываясь на среднем значении прошлых наблюдений.
«Наивный» подход
Наивный метод основан на предположении, что будущее лучше всего характеризуется последними изменениями. Метод основывается на предположении о том, что прогнозируемые показатели в будущем периоде равно показателям предшествующего периода. Наивный прогноз позволяет работать при отсутствии исторических данных. Наивный прогноз понятен, прост в подготовке, быстр в реализации, не требует, фактически, никаких затрат. Основным недостатком наивного прогнозирования является вероятная низкая точность прогноза.
Метод скользящих средних
Метод скользящих средних является одним из широко известных методов сглаживания временных рядов. Применяя этот метод, можно элиминировать случайные колебания и получить значения, соответствующие влиянию главных факторов. Сглаживание с помощью скользящих средних основано на том, что в средних величинах взаимно погашаются случайные отклонения. Это происходит вследствие замены первоначальных уровней временного ряда средней арифметической величиной внутри выбранного интервала времени. Полученное значение относится к середине выбранного интервала времени (периода). Затем период сдвигается на одно наблюдение, и расчет средней повторяется. При этом периоды определения средней берутся все время одинаковыми. Таким образом, в каждом рассматриваемом случае средняя центрирована, т.е. отнесена к серединной точке интервала сглаживания и представляет собой уровень для этой точки. При сглаживании временного ряда скользящими средними в расчетах участвуют все уровни ряда. Чем шире интервал сглаживания, тем более плавным получается тренд. Сглаженный ряд короче первоначального на (n–1) наблюдений, где n – величина интервала сглаживания.
Сезонный “наивный” подход
Сезонный наивный метод прогнозирования приравнивает каждый прогнозируемый период равным соответствующему сезону в исторических данных. Например, прогнозируемые величины в апреле будут равны историческим данным за апрель предыдущего года. Данный метод применяется тогда, когда исторические данные характеризуются высоким уровнем сезонности.
Методы временных рядов
Методы временных рядов используют исторические данные в качестве основы для оценки будущих результатов.
Moving average (Скользящее среднее);
Weighted moving average (Взвешенная скользящая средняя);
Autoregressive moving average (ARMA) — Авторегрессия скользящего среднего;
Autoregressive integrated moving average (ARIMA) e.g. Box-Jenkins — интегрированная модель авторегрессии скользящего среднего, например, модель Бокса—Дженкинса;
Extrapolation (Экстраполяция);
Linear prediction (Линейное прогнозирование);
Trend estimation (Оценка тренда);
Growth curve (statistics) — Кривая роста (статистические данные).
Причинно-следственные методы/эконометрические методы прогнозирования
Некоторые методы прогнозирования пытаются идентифицировать основные факторы, которые могут повлиять на прогноз. Например, информация о погоде может помочь улучшить прогноз продаж зонтиков. Причинно-следственные методы включают в себя:
Регрессионный анализ содержит в себе большую группу методов для прогнозирования будущих показателей, сюда входят параметрические методы (линейные и нелинейные) и непараметрические методы.
Autoregressive moving average with exogenous inputs (ARMAX) — Авторегрессия скользящего среднего с экзогенными входными данными.
Экзогенные переменные — переменные, задающиеся извне, значения которых задаются вне модели. Эндогенные переменные — переменные, значение которых формируется внутри модели.
,
.
. Но это в идеале, на самом деле такого быть не может по причинам, о которых скажем ниже.
; 
;
; 
;
=> 
.
; 
;
была минимальна.
исходя из условия наименьшей ошибки линейного предсказания речевого сигнала (по условию минимума среднего квадрата ошибки).
; 
;
— функция нескольких переменных. Продифференцируем ее и приравняем частные производные для нахождения экстремума:
; 
,
— символ Кронекера. Следовательно: 
;
; => 
;
, где 
— есть ни что иное, как корреляционная функция. Перепишем полученное выражение с учетом принятого обозначения:
(*)
, где N – количество отсчетов в сегменте РС, а M — количество отсчетов, необходимых для расчета коэффициентов предсказания (M + 1)-го отсчета. Значит, первое предсказанное значение запишется так: 
, где n = M + 1.
;
, которая определяется как
,
— ненормированная кратковременная АКФ. Поскольку определение функции 
;
