LSA (1) 썸네일형 리스트형 python으로 구현한 google crawling and lexical semantics를 통한 어휘간 관계 그래프 표현 (위 이미지는 아래글과 관계가 없음) 최근에 간단한(?) 실험을 하나 해보려고 하는게 하나 있다. 간단하게 설명하면 특정사물을 지칭하는 단어와 그 단어와 이웃하는 단어들간의 관계를 Web에서 크롤링한 데이터로부터 확률적인 값으로 위의 그림과 같이 네트워크를 구축한 뒤에, 입력으로 어떤 두 사물의 이름을 넣었을때 그 사물이름간의 관계를 확률적인 값으로 얻을 수 있을까이다. 복잡한 구조는 아니다. 단순히 단어간의 근접도와 빈도만으로 네트워크를 형성하는 것이니. 실험은 Google 검색엔진에 특정 keyword로 query를 던지고, 나오는 결과의 URL을 Parsing하여 모두 모은뒤에, 각 URL을 방문하여 해당 페이지의 Text 데이터를 긁어온다. 그 Text 데이터에서 html및 script, css등.. 이전 1 다음
