Оглавление.

Компьютерное распознавание и порождение речи

Глава 4. Алгоритмы распознавания.

Решение задачи 3. Алгоритм Баума-Уэлча.

Необходимо подобрать параметры скрытой модели Маркова так, чтобы максимизировать вероятность данной последовательности наблюдений.
Вводятся переменные

ξ_t(i,j) = P(q_t=S_i,q_t+1=S_j|O,λ)

которые показывают вероятность того, что при заданной последовательности наблюдений O система в моменты времени t и t+1 будет находиться соответственно в состояниях S_i и S_j. Используя прямую и обратную переменные запишем:

	αt(i)aijbj(ot+1)βt+1(j)		αt(i)aijbj(ot+1)βt+1(j)
ξt(i,j)=	____________________	=	________________________
	P(O|λ)		∑ ∑ αt(i)aijbj(ot+1)βt+1(j) N N

Введем переменные вероятности того, что при заданной последовательности наблюдений O система в момент времени t будет находиться в состоянии S_i:

	N
γt(i)=	∑	ξt(i,j)
	j=1

При этом мы можем вычислить ожидаемое число переходов из состояния S_i: равно

T-1
∑	γt(i)
t=1

а ожидаемое число переходов из состояния S_i в состояние S_j:

T-1
∑	ξt(i,j)
t=1

Исходя из этого можно получить формулы для переоценки параметров модели Маркова:

π^*_i=γ_t(i)

	T-1 ∑ ξt(i,j) t=1
a*ij=	_________________
	T-1 ∑ γt(i) t=1

	T-1 ∑ γt(j) t=1,ot=k
b*ij(k)=	_________________
	T-1 ∑ γt(j) t=1

Выражение

T-1
∑	γt(j)
t=1,ot=k

в формуле для b^*_ij (k) означает что суммируются только те γ_t(j) , для которых значение состояния равно k, то есть O_t = k.
После переоценки параметры модели либо выясняется, что она уже была оптимальной до переоценки либо обязательно улучшаются ее параметры (то есть правдоподобность модели после переоценки выше, чем до переоценки во всех случаях, когда модель можно оптимизировать).

Распознавание речи. Обработка текстов на естественном языке.