MapReduce를 발명한 회사는 클라우드 기반 차원 쿼리 서비스를 공개합니다. 하지만 이것이 정말 빅데이터 도구일까요?
작년 11월, Google은 대규모 데이터 세트의 호스팅 및 임시 SQL 유사 쿼리를 위한 클라우드 기반 시스템인 BigQuery 서비스의 제한된 미리 보기를 발표했습니다. 오늘 회사는 발표했습니다. 블로그 게시물 이제 서비스가 공개되었습니다.
BigQuery는 다소 간단한 REST를 제공하므로 개발자 친화적인 솔루션입니다. (REpresentational State Transfer) 데이터를 Google 클라우드로 푸시한 후 쿼리하는 웹 서비스 그것. 이는 Hadoop 클러스터를 설정하고 MapReduce 작업을 작성하는 것보다 훨씬 쉽습니다.
그러나 몇 가지 악마적인 세부 사항이 있습니다. 이 블로그의 첫 번째 게시물에서 썼듯이 빅 데이터에 대한 합의에 대한 정의는 다소 어렵습니다. BigQuery를 통해 Google은 이러한 점을 효과적으로 입증했습니다. BigQuery는 MapReduce 및 이에 수반되는 파일 시스템을 발명한 회사에서 시작되었지만 페타바이트 이상의 데이터 세트를 처리하는 BigQuery는 해당 기술이나 기능을 캡슐화하지 않습니다.
대신 Google 자체에서는 BigQuery를 최대 100GB의 데이터를 쿼리할 수 있는 OLAP(온라인 분석 처리) 시스템으로 설명합니다. 월별 무료, 저장 비용은 $0.12/GB/월, 처리 비용은 $.035/GB로 최대 2TB의 데이터 세트를 저장/쿼리할 수 있습니다. 쿼리. 그보다 더 큰 규모로 가고 싶다면 블로그 게시물에서는 "영업 담당자에게 문의하세요"라고 조언합니다.
BigQuery는 빅데이터 솔루션보다는 클라우드 비즈니스 인텔리전스 플랫폼으로 분류하는 것이 더 적합할 것 같습니다. 그러한 설명은 기대치를 더 잘 설정하는 데 도움이 됩니다. 그렇게 하면 고객이 수백 기가바이트에 달하는 컬럼 저장소 데이터베이스를 쿼리하게 된다는 사실을 알게 됩니다. 크기가 수백 테라바이트에 달하는 NoSQL 기반 데이터 세트로 작동하지 않으면 준비가 된.
하지만 최대 2테라바이트까지 쿼리할 수 있고(최대 100GB까지 무료) 이를 수행하기 위해 REST와 SQL을 사용하는 클라우드 기반 BI 솔루션이 제게는 꽤 멋있게 들립니다. 그리고 이 데모를 보시면 동영상, BigQuery가 정말 대단하다는 것을 알게 될 것입니다 빠른.
저는 BigQuery를 사용해 볼 예정이며 향후 BigPost에서 이에 대해 알려드릴 계획입니다.