본문 바로가기

빅데이터

(20)
KT에서 자동차 운행기록 수집분석정보시스템(VDIS) 서비스 시작. 오늘 날짜의 기사로 KT에서 자동차의 운행기록을 수집, 분석할 수 있는 시스템을 구축하고 서비스하기로 했다고.. 자동차에서 나오는 운전자의 운행기록이나 이산화탄소배출량등, 나올 수 있는 데이터를 무선통신망으로 실시간 수집분석하여 자동차안전 정책에 활용, 운수회사를 대상으로 다양한 부가서비스를 제공할 수 있는 기회를 제공하겠다는 것. 이 시스템을 통해 얻을 수 있는 효과라고 한다면, (1) 운전습관과 연비분석을 통한 에너지 절감과 이산화탄소 발생 최소화> 분석후에 그 상황을 운전자가 느끼게 함으로써 얻을 수 있는 효과 (2) 운전 습관 교정> 이것도 마찬가지로 운전자의 동기부여를 해줄 수 있는 방법이 필요. (3) 운행거리와 보험료 차등> 요즘 광고에서 운전한 만큼 보험료를 내자라는 문구도 보이던데, 일반..
Quandl, 무료 공개데이터셋 검색/다운로드/시각화.. 사이트. 해외 인터넷 기사를 검색하다가 찾게된 데이터 검색/제공(Data provider) 사이트 Quandl. 인터넷으로 공개된 수치 데이터를 검색할 수 있게 한 사이트이다. 현재 5백만개의 시계열 데이터셋(Time series)이 있는데, 모두 무료이고 공개이다. 이 검색 사이트를 통해서 데이터셋을 검색하여 다운로드 받을 수 있고, 시각화(visualize)와 저장, 공유, 인증, 변환, 통합등을 할 수있도록 제공한다. 주로 다루는 것이 금융, 경제, 소셜 데이터이다. url : http://www.quandl.com
크라우드소싱과 기계학습 트위터의 글들로 날씨를 예측할 수 있을까? http://www.sproutloop.com/prediction_demo/ 위 사이트로 이동한 다음에 포인트를 원하는 지역으로 이동하고, 반경을 마음대로 늘여준 다음에 'Search'하면.. 그 영역에서 트윗한 사람들의 글을 분석하여 일기예보를 해준다. 정확하게는 아니지만, 5단계로 구분하여 positive, neutral, negative, cannot tell, not weather 로 표현한다. 많은 사람들의 트윗을 통해 확률적으로 판단한다.
데이터 repositories 인터넷 검색하다가, 본 데이터 repositories 사이트들.. 어떤 데이터들이 있는지 확인해보지는 않았지만, 대부분 오픈 데이터. 출처 : http://www.kdnuggets.com/datasets/ KDD Cup center, with all data, tasks, and results.AWS (Amazon Web Services) Public Data Sets, provides a centralized repository of public data sets that can be seamlessly integrated into AWS cloud-based applications.Bioassay data, described in Virtual screening of bioassay data, by ..
빅데이터와 advanced analytics 인터넷에서 자료를 검색하다가 보게 된 동영상 LG CNS AA사업부문 박용익 부문장과 고려대학교 진서훈 교수의 대담 동영상 "Advanced Analytics의 오늘과 내일" 이라는 주제로 LG CNS블로그에 올라와 있어서 한번 들어봅니다. http://blog.lgcns.com/101
ubuntu 12.10에 maven과 mahout 설치하기 이전에 하둡설치에 대해서는 포스팅을 했었다.(http://abipictures.tistory.com/791)이번에는 우분투 12.1에 메이븐(maven)과 머하웃(mahout)을 설치하는 방법을 포스팅하려고 한다. 1. 메이븐 설치- 우분투 소프트웨어 센터에서 쉽게 설치하자. 'maven'으로 검색하면 다음과 같이 뜨는데, 첫번째 프로그램을 설치하면 된다. 'Java software project management and comprehension tool' 메이븐에 대해서 설명하면, 의존성관리나 코드 컴파일, 패키지 릴리즈, 문서 생성과 공식 릴리즈를 처리하는 명령행 도구이다. 2. 머하웃 설치- mahout은 직접 다운로드 받아서 설치해야 한다. 아래와 같이 입력한다.- 참고로 머하웃은 scalabl..
Open Data, 국내외 오픈데이터들 분산 스토리지기반 데이터 처리 기술이 점점 발전하고 있고, 앞으로 계속 주목을 받을텐데, 그런 빅데이터 셋은 어디서 구할 수있을까 하고 찾던중에 미국 정부에서 공유하고 있는 data.gov를 보고 난뒤에, 우리나라에도 국가공유자원 포털이라는 사이트를 통해 데이터셋을 공유하거나 OpenAPI를 사용할 수 있도록 하게 되어있는 것을 알았다. 아래는 RAW 데이터셋을 직접 다운로드 받을 수 있거나 OpenAPI를 통해 데이터를 활용할 수 있는 곳이다. 오픈데이터란? 잘 설명해 놓은 유튜브 영상이 하나 있네요. 오픈데이터를 활용할 수 있는 포털은? 국내 국가 DB 피디아 (http://lod.data.go.kr/)국가 공유자원 포털 (https://www.data.go.kr/)서울 열린 데이터 광장 (http:..
미국 공공정보 플랫폼, OGPL(Open Government Platform) 블로터 뉴스(http://www.bloter.net/archives/139866)에서 미국이 공공정보 공유 프로젝트로 Data.gov를 시작했고, 그것의 데이터 구축 플랫폼인 Open Government Platform을 오픈소스로 공개했다고 소개했다. 관련 사이트 : http://www.opengovplatform.org/ OGPL Github : https://github.com/opengovplatform/opengovplatform-beta This is the Release of Beta Code base of the Open Government Platform (OGPL), which is a growing set of open source code that allows any city, or..