Google, Cloud Next에서 서버리스 Spark, AI 워크벤치, 새로운 데이터 서비스 출시

클라우드는 무제한의 저장 공간과 컴퓨팅 용량을 제공하여 데이터 및 분석에 훌륭했지만 데이터 전문가의 생산성이 크게 저하되었습니다. 그 이유는 간단히 말해서 주요 클라우드 제공업체가 수많은 데이터를 쏟아부었기 때문입니다. 시장에 플랫폼을 도입하고 올바른 서비스 조합을 선택하는 것은 고객에게 맡겼습니다. 그들을 통합하십시오. 구식 엔터프라이즈 소프트웨어 거대 기업에 대해 어떻게 생각하는지 말해보세요. 그러나 그들은 오늘날 클라우드 하이퍼스케일러가 부과하는 "조립이 필요한" 경험을 고객에게 많이 남겨두었습니다.

그렇다면 아마도 그게 맞는 것 같다. 게리트 카즈마이어, 최근까지 SAP의 데이터 및 분석 중심 수석 부사장은 구글 클라우드에서 새로 임명된 부사장 겸 총괄 관리자, 데이터베이스, 분석 및 Looker입니다. SAP는 엔터프라이즈 소프트웨어 회사입니다. 그리고 인과적인 현상이 작용하는지 아니면 단지 우연의 일치인지에 관계없이 Kazmaier는 오늘 Google 컨퍼런스에서 발표된 여러 가지 새로운 기능에 대해 ZDNet에 브리핑했습니다. 클라우드 넥스트 '21 Google Cloud의 데이터 플랫폼에 엔터프라이즈 소프트웨어 스타일의 '턴키' 운영을 도입하는 디지털 이벤트입니다.

AI와 분석의 정점에서

Google Cloud의 첫 번째 대규모 공개는 버텍스 AI Vertex AI Workbench라는 서비스입니다. Workbench는 기본적으로 기계 학습 및 AI 작업을 위한 IDE(통합 개발 환경) 역할을 하는 관리형 노트북 환경입니다. 이는 Vertex AI의 핵심 구성요소(예: 학습 및 예측 서비스)를 다음과 같은 데이터 플랫폼의 주요 구성요소와 함께 연결합니다. BigQuery, Dataproc 그리고 데이터플렉스.

이는 클라우드 분석 환경에서 거의 누락된 바로 그 종류의 통합이며 이를 모두 통합하면 데이터에 도움이 됩니다. 과학자, 기계 학습 엔지니어 및 데이터 엔지니어는 기어를 바꾸거나 생각의 흐름을 잃지 않고 서비스에서 다음으로 뛰어 넘습니다. 서비스. 여러 서비스의 UI를 서로 다른 브라우저 탭에 열어 두는 것은 통합이 아닙니다. 다른 보완적인 서비스의 맥락 내에서 다양한 서비스를 사용할 수 있도록 만드는 것입니다.

옴니, 현재

오늘 Google Cloud가 발표한 또 다른 주요 소식은 BigQuery 옴니이를 통해 BigQuery 사용자는 Amazon Web Services(AWS) 또는 Microsoft Azure에 있는 데이터를 얻을 수 있습니다. 이는 경쟁 클라우드에서 BigQuery 인스턴스를 실행하고, 그곳에서 쿼리를 수행하고, 결과를 다시 Google Cloud 홈 기반으로 마샬링함으로써 달성됩니다. 2020년 7월 프리뷰로 옴니가 출시되었을 때 자세히 글을 썼습니다.

또한 읽어보세요: Google BigQuery Omni는 고객을 AWS 및 Azure의 데이터에 연결합니다.

Kazmaier는 ZDNet에 다음과 같은 고객이 있다고 말했습니다. 전자 예술 그리고 존슨 앤 존슨 BigQuery Omni를 사용해 큰 이점을 얻었습니다. 이번 발표와 기타 발표를 통해 BigQuery가 Google의 '데이터 클라우드' 전략의 중심이라는 것은 분명합니다. 다른 클라우드에 저장된 데이터에 대한 BigQuery 액세스를 제공하는 것은 Google의 필수 사항이며 Omni의 GA는 중요한 이정표입니다.

또한 읽어보세요:

• Google BigQuery 따라잡기
  
• Google은 BigQuery를 새로운 지역으로 활용하고 지리정보 기능을 베타 버전으로 선보입니다.
  
• 구글 빅쿼리(BigQuery) 공개
  

Spark는 위로, 서버는 아래로

다음 발표는 다른 발표에 대해 매우 칭찬하는 발표입니다. 즉, 자동 확장, 서버리스 구현입니다. 아파치 스파크, Google Cloud 기반 Spark라고 하며 미리보기 서비스로 제공됩니다. Spark는 모든 종류의 분석, 데이터 엔지니어링 및 기계 학습 워크로드를 위해 업계 전반에 걸쳐 유비쿼터스 상용 환경이 되었습니다. 예, 클라우드 제공업체는 자체적으로 서버리스 Spark 서비스를 구축했습니다. 예를 들어 데이터 흐름 ~에 Azure 데이터 팩토리 고객이 직접 프로비저닝할 필요가 없는 Spark 클러스터에서 실행되고 코드가 생성됩니다. 아마존 글루 마찬가지다. 그러나 Spark를 사용하여 대부분의 데이터 및 AI 파이프라인에서 특정 단계를 실행하려면 Spark 클러스터를 명시적으로 프로비저닝하고 클러스터를 스핀업하는 데 필요한 대기 시간을 처리해야 합니다.

또한 읽어보세요: Azure Data Factory v2: 실습 개요

BigQuery 자체와 마찬가지로 Google Cloud의 서버리스 Spark를 사용하면 고객이 실행을 위해 워크로드를 제출하기만 하면 Google에 클라우드는 나머지 작업을 처리하고 작업을 실행하며 고객이 개별 Spark의 크기를 조정하거나 고려하는 데 방해가 되지 않도록 합니다. 무리. 이 서비스는 짐작하셨겠지만 BigQuery, Dataproc, Dataplex 및 Vertex AI에 통합되어 다음을 허용합니다. 해당 서비스 사용자는 인프라 프로비저닝 부담 없이 Spark를 활용할 수 있으며 관리.

클라우드(스패너)와 (구글) 어스의

다음: Google은 포스트그레SQL 인터페이스 클라우드 스패너, 지리적으로 분산된 관계형 데이터베이스 서비스입니다. Postgres 자체의 구현은 아니지만(다음에서 사용할 수 있는 것) 클라우드 SQL), 이 제품을 사용하면 Postgres의 SQL 언어 및 유선 프로토콜을 사용하는 코드가 Spanner에서 작동할 수 있습니다. 이 제품을 AWS의 Postgres 인터페이스와 비교해 보세요. 오로라 데이터베이스 서비스 또는 Azure Database for PostgreSQL 하이퍼스케일. 두 경우 모두 Spanner Postgres 인터페이스와 마찬가지로 Postgres 기술을 갖춘 사용자는 클라우드 호스팅, 수평 확장 데이터베이스를 사용할 수 있습니다. Spanner Postgres 제품은 미리보기로 제공됩니다.

또한 읽어보세요:

• Google Cloud Spanner: 어떻게 구성되어 있나요?
  
• Google, 전 세계를 아우르는 데이터베이스 기술인 Spanner 공개
  

그리고 여기에 몇 가지 추가 통합이 있습니다. 구글 어스 BigQuery, Google Cloud의 ML 기술 및 구글지도. Google Earth Engine이라는 서비스가 미리보기로 출시됩니다.

여기를 보세요

잊어버린 경우를 대비해 Google Cloud가 소유합니다. 보는 사람 지금. 도대체 Looker 이름은 Kazmaier의 제목에도 있습니다. 그렇습니다. Looker는 그 자체로 BI 프런트엔드이지만 Google은 LookML Looker가 BI 사용자가 데이터를 더 쉽게 분석할 수 있도록 의미 체계 모델을 정의할 수 있는 모델링 언어입니다. 이를 위해 Google은 연결된 시트 사용자에게 다음을 허용하는 기술입니다. Google 스프레드시트 BigQuery에서 데이터를 쿼리하는 기능은 LookML과 호환될 예정이며, Google Cloud는 올해 말까지 미리보기 형태로 출시할 것이라고 밝혔습니다.

또한 읽어보세요:

• Google은 Looker를 26억 달러에 인수하고 분석 범위를 확장하고 여러 클라우드를 지원하는 것을 목표로 합니다.
• Google 시대의 첫 번째 주요 릴리스인 Looker 7이 발표되었습니다.
  
• Looker는 인수 후 릴리스에서 Google 통합 기능을 얻습니다.
  

그러나 연결된 시트를 넘어 Google은 Salesforce와의 파트너십을 발표했습니다. 태블로 이는 곧 LookML을 통해 Looker 의미 체계 모델에 액세스할 수 있는 매우 인기 있는 비즈니스 인텔리전스 플랫폼을 제공할 것입니다. 다른 업계 플레이어가 좋아하는 반면 데이터브릭스, 인포매티카, 트라이팩타, 파이브트란 그리고 콜리브라 Cloud Next의 스포트라이트 파트너이기도 합니다. Tableau와의 이번 파트너십은 전례가 없고 매우 흥미롭습니다. 이는 Google Cloud가 분석 세계 전반에 걸쳐 파트너의 도움을 받지 않으면 지배적인 데이터 클라우드 제공업체가 될 수 없다는 것을 알고 있음을 보여줍니다. 이는 또한 Google이 프런트엔드 데이터 시각화 및 대시보드 기능만큼 Looker의 백엔드 데이터 모델링 기능을 위해 Looker 인수를 추진했음을 보여줍니다.

또한 읽어보세요: Salesforce-Tableau, 기타 BI 거래 흐름 이제 연속으로 5번의 기록이 나왔네요

물건을 서로 연결합니까?

지금까지 존재했던 클라우드 서비스의 통합이 상대적으로 부족하다는 점을 한탄하는 것은 단순한 불만이 아닙니다. 고객이 모든 복잡성을 통해 통합 및 해킹을 수행하는 것은 엄청난 작업이며 그에 따라 엄청난 위험과 비용이 발생합니다. Microsoft는 통합 공백을 해결해 왔습니다. Azure 시냅스 분석 그리고 누군가는 AWS가 자사의 솔루션을 통해 그렇게 하려고 노력했다고 주장할 수도 있습니다. 호수 형성 헌금.

또한 읽어보세요: Azure Synapse Analytics는 데이터 웨어하우스, 레이크 및 파이프라인을 결합합니다.

오늘 Google Cloud의 발표를 통해 세 가지 주요 클라우드 제공업체 모두 서비스 통합의 중요성을 인식했습니다. 좋은 점이지만, 세 가지 모두 데이터 및 분석 서비스가 사용하기 간편하고, 완전히 합리화되고, 완벽하게 통합되려면 아직 갈 길이 멀습니다. 그러나 결국 하이퍼스케일러는 클라우드가 새로운 엔터프라이즈 스택이라고 정당하게 말할 수 있게 될 것입니다.

BigQuery Omni를 사용하는 고객 목록에서 Wayfair를 삭제하기 위해 10월 12일 오후 7시 3분(ET)에 업데이트된 게시물입니다. WayFair는 BigQuery 고객이지만 Omni를 채택하지 않았습니다.