본문 바로가기

데이터

(6)
Quandl, 무료 공개데이터셋 검색/다운로드/시각화.. 사이트. 해외 인터넷 기사를 검색하다가 찾게된 데이터 검색/제공(Data provider) 사이트 Quandl. 인터넷으로 공개된 수치 데이터를 검색할 수 있게 한 사이트이다. 현재 5백만개의 시계열 데이터셋(Time series)이 있는데, 모두 무료이고 공개이다. 이 검색 사이트를 통해서 데이터셋을 검색하여 다운로드 받을 수 있고, 시각화(visualize)와 저장, 공유, 인증, 변환, 통합등을 할 수있도록 제공한다. 주로 다루는 것이 금융, 경제, 소셜 데이터이다. url : http://www.quandl.com
데이터 repositories 인터넷 검색하다가, 본 데이터 repositories 사이트들.. 어떤 데이터들이 있는지 확인해보지는 않았지만, 대부분 오픈 데이터. 출처 : http://www.kdnuggets.com/datasets/ KDD Cup center, with all data, tasks, and results.AWS (Amazon Web Services) Public Data Sets, provides a centralized repository of public data sets that can be seamlessly integrated into AWS cloud-based applications.Bioassay data, described in Virtual screening of bioassay data, by ..
COSM (Pachube) 빅데이터와 관련해서 자료를 찾던중에 IoT(Internet of Things)관련 서비스 업체가 있어서 찾아봤다.바로 COSM이라는 회사인데, 현재 베타버젼의 서비스를 시작했고, 조만간에 정식서비스를 할 것으로 보인다. 이 회사는 원래 Pachube라는 영국회사로 2008년도 창업되었다. 추구하는 것이 센서데이터를 서로 연결할 수 있도록 하는 온라인 데이터베이스 서비스와 그것을 기반으로 하는 어플리케이션을 주요 제공 서비스이다. 2011년도에 일본에 원자력발전소 폭발사고때에 데이터 수집과 활용에 기술이 활용된 적이 있고, 2011년 7월, LogMeIn이라는 회사에 인수된 뒤에 사명이 COSM으로 바꼈다. 참고로 LogMeIn이라는 회사는 관리소프트웨어와 원격 엑세스 솔루션을 개발하는 회사이다. Pach..
data service middleware 참고 URL : http://word.tta.or.kr/terms/terms.jsp 한국정보통신기술협회에서 제공하는 정보통신관련 표준용어사전에서 Data service middleware 의 의미는 다양한 센서 네트워크에 실시간 데이터 서비스를 통합하여 제공하기 위한 데이터 서비스 미들웨어. 여러 센서 응용에서 공통적으로 필요로 하는 서비스를 추상화하여 데이터 서비스로 제공하므로 복잡한 저수준의 센서 네트워크 오퍼레이션과 상관없이 표준 구조화 조회 언어(SQL)을 사용하여 센서 네트워크로부터 원하는 데이터를 얻을 수 있다. 버지니아(Virginia) 대학에서 개발하였다.
돈이 되는 ‘빅데이터’ 분석…과학이 된 21세기 독심술 기사 원문 : http://news.mk.co.kr/newsRead.php?year=2012&no=614917 빅데이터가 이슈가 될 것이라고, 사실 오래전부터 예견되어 왔던것같다. IBM같은 선도기업들은 미리 기반기술을 마련하는데 오랫동안 노력을 해왔었고, 하나둘씩 솔루션들도 나오고 있다. 이렇게 된것이 단지 몇년전이다. 왜냐하면 인터넷이 활성화 된것이 사실 15년정도밖에 되지 않았지 않나.. 97년도, 내가 대학교 1학년때 T1급 망이 깔린 PC방이 많지 않았고.. PC또한 겨우 586펜티엄 컴퓨터가 시장에 주력상품이었으니.. 그당시에는 인터넷이 막 보급되던 시기였고, 지금처럼 빅데이터라는 이름이 등장하기 보다, 그냥 요즘은 아무렇지 않게 받아들이는 하이퍼텍스트에 많이 집중되어 있었던듯하다. 빅데이터를..
빅데이터... (큰문제는 여러개로 나눠서 처리하는 것이...빅데이터와 항상 같이 따라다닐 수 밖에 없는것이 분산처리, 병렬처리가 아닌가...) 어느 인터넷 기사에서, 내가 공감하고 받아들여야 할, 기존이 이미 왕성하게 활동하고 있는 전문가들의 말...뭐 전문가라고 항상 올바른 정의, 제안하는 미래상을 제시하는 것은 아니지만... 일단은 그들이 나보다 먼저 고민하고 적용해봤으니 내가 생각하는 것과 다르다고 배척할 것은 아닌것 같다.. "데이터는 비즈니스와 서비스의 새로운 '엔진오일'로서 굉장히 귀중한 리소스"라며 "그것을 통해 가치를 만들어낼 수 있느냐가 바로 그 기업이 빅데이터를 성공적으로 활용했느냐를 결정짓는 요소가 될 것" '빅데이터'에서 무엇보다 중요한 것은 빅 'data'가 아니라 빅 'Problem'이라고도 ..