본문 바로가기

분산처리

(2)
빅데이터... (큰문제는 여러개로 나눠서 처리하는 것이...빅데이터와 항상 같이 따라다닐 수 밖에 없는것이 분산처리, 병렬처리가 아닌가...) 어느 인터넷 기사에서, 내가 공감하고 받아들여야 할, 기존이 이미 왕성하게 활동하고 있는 전문가들의 말...뭐 전문가라고 항상 올바른 정의, 제안하는 미래상을 제시하는 것은 아니지만... 일단은 그들이 나보다 먼저 고민하고 적용해봤으니 내가 생각하는 것과 다르다고 배척할 것은 아닌것 같다.. "데이터는 비즈니스와 서비스의 새로운 '엔진오일'로서 굉장히 귀중한 리소스"라며 "그것을 통해 가치를 만들어낼 수 있느냐가 바로 그 기업이 빅데이터를 성공적으로 활용했느냐를 결정짓는 요소가 될 것" '빅데이터'에서 무엇보다 중요한 것은 빅 'data'가 아니라 빅 'Problem'이라고도 ..
Hadoop 완벽가이드 요즘 관심있게 보고 있는것들이 병렬처리와 MPI(Message Passing Interface) 그리고, 이 Hadoop인데.. 내가 이 책을 보는 이유는 내 연구에 실제 시스템구현에 도움을 줄 수 있기를 기대하기 때문이다.. 기본적인 아이디어를 간단히 말하면 이렇다. 사람의 두뇌가 의식(?)의 이동은 serial인데, 그 내부의 정보수집 및 처리는 parallel이다라는 것에서 시작한다. 다시 말하면, 우리가 동시에 여러가지 생각을 할 수 없다는 것인데, 한가지 생각이나 기억에서 다른 기억으로 전이되는 경우는 있어도 행복한 기억과 슬픈 기억을 동시에 떠올릴수 없는 것처럼, 생각의 흐름이 동시에 일어날 수는 없다. 이런 의식은 serial하게 진행하지만, 실제로 뇌속에 기억을 담당하는 물리적인 저장소는 ..