Hadoop 완벽가이드

요즘 관심있게 보고 있는것들이 병렬처리와 MPI(Message Passing Interface) 그리고, 이 Hadoop인데..
내가 이 책을 보는 이유는 내 연구에 실제 시스템구현에 도움을 줄 수 있기를 기대하기 때문이다..

기본적인 아이디어를 간단히 말하면 이렇다. 사람의 두뇌가 의식(?)의 이동은 serial인데, 그 내부의 정보수집 및 처리는 parallel이다라는 것에서 시작한다. 다시 말하면, 우리가 동시에 여러가지 생각을 할 수 없다는 것인데, 한가지 생각이나 기억에서 다른 기억으로 전이되는 경우는 있어도 행복한 기억과 슬픈 기억을 동시에 떠올릴수 없는 것처럼, 생각의 흐름이 동시에 일어날 수는 없다. 이런 의식은 serial하게 진행하지만, 실제로 뇌속에 기억을 담당하는 물리적인 저장소는 여러곳으로 흩어져있고, 우리는 이 저장소들에서 필요한 정보들을 모아 재구성(reconstruction)을 하게 된다는 것이다.

이런것을 보면 엄청나게 많은 분산되어 있는 정보를, 수집하고 처리해 줄 수 있는 효과적인 방법이 구글의 검색엔진과 같은 방대한 데이터에서 정보를 검색하고 적절한 데이터를 추출하고, 때론 통합하고, 재생산해내는 과정이 사람의 두뇌가 기억하고 처리하는 프로세스와 유사하지 않을까 하는 것이다..

이것이 왜 중요한가는 굳이 설명하지 않아도 알것이다. 우리가 인터넷을 하는데, 구글이나 네이버, 야후, 다음에서 제공하는 검색엔진이 없이 인터넷을 한다고 생각하는 것과 같을것이라고 본다.

아직 정확히 Hadoop이나 ReduceMap이 어떻게 쓰일수 있을지는 모르겠다. 하지만, 이것이 정말 내가 원하는 것을 구현하는데 도움을 줄 수 있다면, 나의 일상생활을 저장하는 personal blackbox를 만들고, 이것을 share하여 로봇이 내 기억을 이해하고, 이것이 최후에는 나와 동일한 기억을 가지는 의식체로 거듭나길 바라는 것이다..

재미있지 않을까...
나와 같은 기억을 가지고 있는 로봇이 있다면 말이다...ㅎ