HMM(Hidden Markov Model)

Hidden  Markov  Model

 

Hidden Markov model (HMM) 은 모델링하는 시스템이 미지의 모수 (parameter) 를 가진 Markov process 일 것이라고 가정하여, 그 가정에 기초해서 관측된 모수로부터 숨겨진 모수를 결정하려하는 하나의 통계모델이다. 추출된 모델의 모수들은 더 나은 분석을 수행하기위해 사용될 수 있다. 예를들면 패턴인식 (Pattern Recognition) 응용과 같은 것이다. .... regular Markov model 은 그 상태를 직접 관찰자가 볼 수 있기 때문에 그 상태전이 확률 (state transition probabilities) 은 유일한 모수들이다. 그러나 hidden Markov model 은 출력들 (outputs) 이 더해진다 : 각각의 상태는 가능한 출력토큰들 (output tokens) 에 대해 확률분포 (probability distribution) 를 가진다. 따라서 HMM 에 의해 생성된 토큰들의 순서를 봄으로써 상태들의 순서를 직접적으로 알 수 있는 것은 아니다. 즉 출력치만 관측되고 상태의 흐름은 관측되지 못한 경우에 사용하므로 은닉 마르코프 모형이라 부른다.....  HMM 은 음성인식 (Speech Recognition)   광학문자인식 (Optical Character Recognition)   자연어처리 (Natural Language Processing)   생물정보학 (Bioinformatics) 등에 이용된다 ........ (Wikipedia : Hidden Markov model).

.... 1980년대의 음성 인식의 흐름은 템플릿(template) 방식의 접근 방식에서 은닉 마코프 모델 (hidden Markov model, HMM) 과 같은 통계적 방법으로 기술의 변화를 가져왔다. HMM 의 이론이 IBM 이나 IDA (Institute for Defense Analysis), Dragon 시스템과 같은 몇몇 연구소에는 잘 알려지고, 이해되었으나 80년대 중반까지는 HMM 의 방법이나 이론에 대한 논문이 발표되지 않아 널리 사용되지 않았다. 그러나, 요즘은 거의 모든 음성 인식 시스템에서 HMM 을 채택하고 있다.

과거 15년 동안 음성 인식 (Speech Recognition) 에 가장 많이 사용되는 알고리즘은 은닉 마코프 모델 (hidden Markov model) 이었다. HMM 은 이중 통계적 모델로서, 기본이 되는 음소열의 생성과 프레임 단위의 표면적 음향학적인 표현을 Markov 과정과 같이 확률로서 나타낸다. 프레임 단위의 점수를 예측하는데 신경 회로망 (Neural network) 이 사용되기도 하며, HMM 시스템과 결합되어 혼합 모델로서 사용되기도 한다.

프레임 단위의 HMM 시스템의 중요한 특징은 음성 부분이 명시적으로 파악되는 것이 아니라, 검색 과정 중에 파악된다는 점이다. 또한 먼저 음성 부분을 파악하여 분류하고 단어를 인식하기 위하여 부분 거리값을 이용하는 다른 접근 방법도 있다. 이러한 접근 방법은 여러 가지 작업 분야에서 경쟁적인 인식 성능을 나타내기도 한다.

term :

은닉 마르코프 모델 (Hidden Markov Model)   Andrei Markop   통계 (Statistics)   기계학습 (Machine Learning)   음성인식 (Speech Recognition)   베이즈 추론 (Bayesian Inference)   음성 인식 (Speech Recognition)   패턴인식 (Pattern Recognition)   자연어처리 (Natural Language Processing)   생물정보학 (Bioinformatics)   광학문자인식 (Optical Character Recognition)   Viterbi algorithm   Parameter estimation

site :

Hidden Markov Models Tutorial : School of Computing, University of Leeds.

HMM 의 개요 : 경북대 : 음성신호처리 연구실 :  Theory & Program Library

Markov Model : 서울대 전산언어학 연구실 : Markov Model (MM)과 Hidden Markove Model (HMM)은 현재 음성인식 시스템 및 품사태깅 등, 자연언어처리에 있어 널리 사용되는 통계적인 방법이다. MM과 HMM은 원래 Andrei A. Markov에 의해 개발되었으며, 원래는 언어학적 목적에서 시작되었으나 이제는 기본적인 통계방법으로 자리잡았다 ....

Bell Labs: Statistical Models for Speech Recognition

Hidden Markov Model (HMM) Toolbox for Matlab

Hidden Markov Models

GHMM Library

paper :

음성인식을 위한 은닉마코프 모형 연구 : 정상화, 손건태, 박민욱, 한국통계학회 5권 1호, 1998 (★★★)

분절특징 HMM 의 특성에 관한 연구 (A Study on the Characteristics of Segmental-Feature HMM) : 정호영, 윤영선, 대한음성학회, 2002

연속분포 HMM 을 이용한 음성인식 시스템에 관한 연구 (A Study on Speech Recognition System Using Continuous HMM) : 이극, 김상덕, 한국멀티미디어학회, 1998

음성인식을 위한 새로운 혼성 recurrent TDNN-HMM 구조에 관한 연구 (A study on the new hybrid recurrent TDNN - HMM architecture for speech recognition) : 장춘서, 한국정보처리학회, 2001

Rabiner, Lawrence, 1989. A Tutorial on Hidden Markov Models and Selected Applications in Speech Recognition.

Kristie Seymore, Andrew McCallum, and Roni Rosenfeld. Learning Hidden Markov Model Structure for Information Extraction. AAAI 99 Workshop on Machine Learning for Information Extraction, 1999.