Nvidia의 가속화된 Apache Spark 3.0 라이브러리와 통합되는 Cloudera 데이터 플랫폼

  • Sep 02, 2023

Cloudera에 따르면, 통합을 통해 데이터 파이프라인이 가속화되고 기계 학습 워크플로를 프로세스에 추가하는 것이 더 쉬워질 것입니다.

Cloudera는 CDP(Cloudera Data Platform)와 Nvidia의 가속화된 Apache Spark 3.0 라이브러리를 통합할 것이라고 밝혔습니다.

Cloudera에 따르면, 통합을 통해 데이터 파이프라인이 가속화되고 기계 학습 워크플로를 프로세스에 추가하는 것이 더 쉬워질 것입니다.

Cloudera Data Platform은 올해 초 AMP(응용 학습 프로토타입)를 추가했습니다. AMP는 종종 Nvidia GPU 하드웨어에서 실행됩니다.

  • Cloudera는 SQL을 통해 스트리밍 플랫폼의 격차를 메웁니다.
  • Cloudera Data Platform이 Google Cloud에 등장
  • Cloudera는 Applied ML Prototypes를 통해 엔터프라이즈 기계 학습 사용 사례를 빠르게 추적하는 것을 목표로 합니다.

Apache Spark 3.0 라이브러리는 다음을 사용하여 가속화됩니다. Nvidia의 RAPIDS 플랫폼. Cloudera는 데이터 과학자의 병목 현상을 제거하고 머신 러닝 모델 확장을 지원하기 위해 노력하고 있습니다.

Nvidia의 Apache Spark용 GPU 가속은 데이터 준비 작업 속도를 높이고 모델을 훈련시키는 것을 목표로 합니다. 데이터에서 교육, 시각화에 이르기까지 파이프라인을 더 빠르게 조정하고 인프라를 절약합니다. 소송 비용.

Cloudera는 GPU 가속 Apache Spark 3가 기본적으로 CDP에서 실행되며 고성능 컴퓨팅 도구에 연결할 수 있다고 말했습니다.

Apache Spark용 RAPIDS Accelerator는 올 여름 CDP 프라이빗 클라우드에서 사용할 수 있습니다. Nvidia와 Cloudera는 5월 CDP 퍼블릭 클라우드의 가속화된 딥 러닝 및 머신 러닝을 시작으로 시간이 지남에 따라 CDP에서 추가적인 가속화된 제품을 출시할 예정입니다.