Amazon은 AWS Lake Formation에 보다 세분화된 제어 기능을 제공합니다.

화요일 Amazon Web Services는 더 많은 것을 제공하는 도구의 일반 가용성을 발표했습니다. 데이터 레이크 관리에 대한 세분화된 제어.

첫째, Lake Formation의 행 및 셀 수준 보안은 AWS re: Invent 기조 연설에서 AWS CEO Adam Selipsky가 "올바른 데이터를 올바른 사람에게 제공합니다"라고 말했습니다.

Lake Formation은 이미 고객이 데이터를 S3 데이터 레이크로 이동하고 정리하고 기계 학습을 사용하여 분류하고 민감한 데이터에 안전하게 액세스할 수 있도록 지원합니다. 이제 새로운 도구를 통해 고객은 개별 행과 셀에 대한 액세스 제어를 시행할 수 있습니다. 각 사용자에 대해 여러 테이블을 만들고 데이터 파이프라인을 관리하는 대신 고객은 특정 사용자의 특정 행에 대한 정책 집합을 정의할 수 있습니다. 고객은 작업을 수행하는 사람의 ID를 기반으로 쿼리 결과 및 AWS Glue ETL 작업 내에서 특정 행과 열에 대한 액세스를 제어합니다.

한편, Lake Formation의 관리 테이블에 대한 트랜잭션은 업데이트를 일괄 처리할 필요가 없습니다. Selipsky는 "데이터는 정적이지 않습니다."라고 말했습니다. "점점 더 많은 데이터가 추가되고 빠르게 이동하고 있습니다."

이제 고객은 관리되는 테이블이라는 새로운 유형의 테이블을 생성할 수 있으며 Lake Formation은 일관된 데이터 보기를 위해 충돌과 오류를 자동으로 관리합니다. 사용자는 실시간으로 데이터를 따라갈 수 있습니다.

관리 테이블은 여러 사용자가 동시에 여러 관리 테이블에서 데이터를 안정적으로 삽입하고 삭제할 수 있는 ACID 트랜잭션을 지원합니다. ACID 트랜잭션을 통해 고객은 일관된 최신 데이터를 반환하는 쿼리를 실행할 수도 있습니다. ETL 프로세스 또는 업데이트 중에 오류가 발생하는 경우 변경 사항이 커밋되지 않으며 표시되지 않습니다.

관리 테이블을 사용하는 고객은 스토리지 최적화를 위해 자동 압축을 사용할 수 있습니다. 이 옵션이 활성화되면 Lake Formation은 관리되는 테이블의 작은 S3 개체를 더 큰 개체로 자동 압축하여 다음과 같은 분석 엔진을 통한 액세스를 최적화합니다. 아마존 아테나 그리고 아마존 레드시프트 스펙트럼.