Your browser does not support JavaScript!

스노우플레이크와 NVIDIA의 협업을 통한 데이터 플랫폼 발전 현황과 전망

일일 보고서 2024년 06월 29일
goover

목차

  1. 요약
  2. 스노우플레이크와 NVIDIA 협업
  3. 스노우플레이크 서밋 2024
  4. AI와 데이터 플랫폼 통합
  5. 데이터 형식 및 관리 유연성 향상
  6. 결론

1. 요약

  • 이 리포트는 '스노우플레이크'와 'NVIDIA'의 협업을 통해 데이터 플랫폼의 발전과 전망을 다룹니다. '스노우플레이크 서밋 2024'에서 발표된 다양한 기술 혁신과 기능들이 포함되었으며, AI와 머신러닝 기반 데이터 애플리케이션 개발이 가속화되고 있습니다. 주요 혁신 사항으로는 'Snowpark ML', 'Streamlit', '스노우플레이크 코텍스 AI'와 같은 AI 도구와 '폴라리스 카탈로그'와 'Apache Iceberg' 데이터 형식 지원 등이 있습니다. 이 협업을 통해 데이터 관리 및 애플리케이션 개발의 유연성이 크게 향상되었으며, 개발자들이 더 빠르고 효율적으로 AI 솔루션을 구축할 수 있는 환경이 조성되었습니다.

2. 스노우플레이크와 NVIDIA 협업

  • 2-1. NVIDIA와의 협업을 통해 AI 데이터 애플리케이션 개발 가속화

  • 스노우플레이크는 최근 스노우플레이크 서밋 2024에서 NVIDIA와의 새로운 협업을 발표했습니다. 이 협업은 AI 데이터 애플리케이션 개발을 가속화하는 것을 목표로 하며, 스노우플레이크의 단일 통합 플랫폼에서 데이터 처리의 유연성과 상호 운용성을 크게 향상시킵니다. 이러한 협력을 통해 고객과 파트너는 스노우플레이크 내에서 맞춤형 AI 데이터 애플리케이션을 구축할 수 있게 되었습니다. 주요 혁신 사항으로는 Polaris Catalog와 같은 벤더 중립적이고 완전히 개방된 카탈로그 구현이 포함되어 있습니다.

  • 2-2. Snowpark ML, Streamlit, Snowflake Cortex AI 도구의 역할

  • 스노우플레이크는 데이터 클라우드 내에서 개발자들이 더욱 빠르고 효율적으로 AI 애플리케이션을 구축할 수 있도록 Snowpark ML, Streamlit, Snowflake Cortex AI 도구를 소개했습니다. Snowpark ML은 사용자들이 데이터에 직접 구문을 적용하고, 모델을 학습하며, Snowflake ML은 AI와 머신러닝 혁신을 통해 사용자가 데이터와 대화하고, 맞춤형 언어모델을 보안 설정하며, 모델 운영을 간소화하는 등 다양한 기능을 제공합니다. 이러한 추가 도구들은 스노우플레이크 플랫폼에서의 데이터 관리 및 애플리케이션 개발을 크게 향상시키는 역할을 합니다.

3. 스노우플레이크 서밋 2024

  • 3-1. 스노우플레이크 서밋 2024 개요

  • 스노우플레이크는 2024년 6월 3일부터 6일까지 미국 샌프란시스코에서 스노우플레이크 서밋 2024를 개최했습니다. 이번 서밋에서 스노우플레이크는 자사의 데이터 클라우드 플랫폼 발전 방향을 제시하며, AI와 데이터 애플리케이션에서의 혁신적인 기능을 선보였습니다. 스노우플레이크는 네 가지 주요 과제를 해결해야 한다고 강조했는데, 이는 데이터 클라우드 비전을 발전시키는 것, 인공지능 리더로 변모하는 것, 데이터 애플리케이션 플랫폼으로 성장하는 것, 외부 시장 힘에 대응하는 것입니다. 이러한 과제 해결을 통해 스노우플레이크는 자사의 가치 제안을 확장하고, 새로운 시장에서 경쟁할 수 있는 기반을 마련하고자 했습니다.

  • 3-2. 새로운 기능 발표: 엔터프라이즈급 파이프라인, 동적 테이블, 스노우파이프 스트리밍

  • 스노우플레이크는 서밋 2024에서 다수의 새로운 기능을 발표했습니다. 새로운 엔터프라이즈급 파이프라인과 모델, AI 기반 애플리케이션 구축 도구는 개발자들이 데이터를 활용해 더욱 빠르고 효율적으로 애플리케이션을 개발할 수 있도록 지원합니다. 스노우플레이크 제프 홀란 애플리케이션 및 개발자 플랫폼 부문장은 새로운 기능들이 개발자들이 기존의 엔터프라이즈 데이터로 익숙하면서도 더 많은 경험을 쌓도록 지원한다고 밝혔습니다. 스노우플레이크의 동적 테이블(Dynamic Tables)과 스노우파이프 스트리밍(Snowpipe Streaming)은 특히 낮은 레이턴시 기반의 데이터 파이프라인을 활성화하여 AI 및 머신러닝 모델을 생성할 수 있습니다. 현재 2,900여 고객사가 평균 20만개 이상의 동적 테이블을 운영하여 데이터 파이프라인을 구축 및 관리하고 있습니다. 또한, 스노우플레이크 노트북(Snowflake Notebooks, 퍼블릭 프리뷰)은 스노우파크 ML(Snowpark ML), 스트림릿(Streamlit), 스노우플레이크 코텍스 AI(Snowflake Cortex AI) 등 모든 스노우플레이크 플랫폼과 네이티브 통합되어 있어 단일 개발 인터페이스를 제공합니다. 이를 통해 개발자들은 파이썬, SQL, 마크다운(Markdown)을 간편하게 사용할 수 있으며, ML 파이프라인을 실험하고 반복 적용하는 등 생산성을 높일 수 있습니다.

4. AI와 데이터 플랫폼 통합

  • 4-1. AI 데이터 클라우드 환경에서의 개발자 지원

  • 스노우플레이크는 AI 데이터 클라우드 환경에서 개발자들을 적극 지원하고 있습니다. 이 회사는 엔터프라이즈 데이터가 집적된 클라우드 플랫폼에서 애플리케이션을 개발하도록 독려하고 있습니다. 스노우플레이크의 제품 부사장 Christian Kleinerman에 따르면, 모든 데이터가 한 곳에 모여 있어 비즈니스 로직을 클라우드로 쉽게 이전할 수 있다고 합니다. 이러한 지원은 대규모 데이터로 작업하는 개발자들에게 큰 장점이 될 수 있습니다.

  • 4-2. MLOps 및 DevOps 통합 지원을 위한 Snowflake Trail과 오픈 소스 기반 툴

  • 스노우플레이크는 MLOps 및 DevOps 워크플로를 통합하는 것을 간소화하고 있습니다. 이 회사는 선언적 데이터베이스 변경 관리 기능을 미리보기로 제공하고 있으며, Git 저장소와의 통합도 지원하고 있습니다. 또한, DevOps 엔지니어들이 스노우플레이크의 Python API를 활용하여 리소스를 관리하고 오픈 소스 스노우플레이크 명령줄 인터페이스(CLI)를 호출할 수 있게 될 예정입니다. 추가적으로, 스노우플레이크는 오픈 소스 OpenTelemetry 에이전트 소프트웨어를 기반으로 하는 관찰 가능성 기능 세트를 제공하는 스노우플레이크 트레일(Snowflake Trail)을 추가하고 있습니다. 이를 통해 Snowpark 및 Snowpark 컨테이너 서비스와 통합되는 기능을 미리보기로 제공하며, Snowflake Native App Framework와의 통합도 진행 중입니다. 마지막으로, 스노우플레이크는 Apache Iceberg 데이터 포맷을 지원하는 Polaris Catalog 플랫폼을 90일 내로 오픈 소스화 할 계획입니다.

5. 데이터 형식 및 관리 유연성 향상

  • 5-1. Apache Iceberg 데이터 형식 추가

  • 스노우플레이크는 스노우플레이크 서밋 2024에서 Apache Iceberg 데이터 형식 지원을 발표했습니다. 이는 다양한 오픈 소스 도구와의 통합 기능을 강화하고, 데이터 관리의 유연성을 크게 향상시키는 역할을 합니다.

  • 5-2. 폴라리스 카탈로그를 통한 열린 데이터 관리

  • 폴라리스 카탈로그는 공급업체에 구애받지 않는 오픈 카탈로그 구현 방식입니다. 이는 Apache Iceberg와의 호환성을 갖추고 있어 데이터 형식 및 관리의 유연성을 높여주며, 데이터 관리의 효율성을 크게 증가시키는 혁신적인 도구입니다.

6. 결론

  • 이번 리포트에서는 '스노우플레이크'와 'NVIDIA'의 협업을 통해 데이터 플랫폼이 AI 애플리케이션 개발을 어떻게 발전시키고 있는지 분석했습니다. '스노우플레이크 서밋 2024'에서 발표된 주요 기술 혁신은 'Snowpark ML'과 'Streamlit', '스노우플레이크 코텍스 AI' 도구를 통해 개발자들에게 더 효율적인 환경을 제공하며, '폴라리스 카탈로그'와 'Apache Iceberg' 데이터 형식 지원을 통해 데이터 관리의 유연성을 강화합니다. 이 모든 기술적 진보는 엔터프라이즈 데이터 관리와 AI 애플리케이션 개발을 통합하여 효율성을 높이고, 개발자들이 광범위한 데이터 환경에서 신속하게 혁신을 이룰 수 있도록 돕습니다. 그러나 이러한 발전에도 불구하고 기술 도입 초기에는 특정한 학습과 적응 과정이 필요할 수 있음을 유념해야 합니다. 앞으로 스노우플레이크는 이 협업을 통해 계속해서 데이터 플랫폼의 선두주자로서의 위치를 공고히 할 것으로 예상되며, 이러한 기술들이 실제 현장에서 어떻게 활용될 수 있는지에 대한 추가 연구와 사례 검토가 필요합니다.

7. 용어집

  • 7-1. 스노우플레이크 [회사]

  • 스노우플레이크는 데이터 클라우드 회사로, 기업들이 데이터 분석과 AI 애플리케이션 개발을 효율적으로 할 수 있도록 지원하는 플랫폼을 제공한다. 최근 NVIDIA와의 협업을 통해 AI 데이터 애플리케이션의 개발을 가속화하고 있다.

  • 7-2. NVIDIA [회사]

  • NVIDIA는 그래픽 처리 장치(GPU)와 AI 컴퓨팅 기술의 선두주자로, 스노우플레이크와 협력하여 AI 데이터 애플리케이션 개발을 지원하고 있다.

  • 7-3. 스노우플레이크 서밋 2024 [행사]

  • 스노우플레이크 서밋 2024는 스노우플레이크가 주최하는 행사로, 새로운 기능과 기술 혁신을 발표하는 자리이다. 올해에는 엔터프라이즈급 파이프라인, 모델 및 AI 기반 애플리케이션 구축을 지원하는 새로운 기능이 소개되었다.

  • 7-4. Snowpark ML [기술]

  • Snowpark ML은 스노우플레이크의 머신 러닝 도구로, 개발자가 데이터 클라우드 환경에서 AI와 머신 러닝 모델을 쉽게 생성하고 운영할 수 있도록 지원한다.

  • 7-5. Streamlit [기술]

  • Streamlit은 스노우플레이크의 데이터 애플리케이션 개발 도구로, 개발자가 빠르고 쉽게 애플리케이션을 구축할 수 있도록 돕는다.

  • 7-6. 스노우플레이크 코텍스 AI [기술]

  • 스노우플레이크 코텍스 AI는 AI 데이터 클라우드 플랫폼으로, AI 기반 애플리케이션의 개발과 운영을 간소화한다.

  • 7-7. Apache Iceberg [기술]

  • Apache Iceberg는 고성능 데이터 레이크에서 사용되는 대용량 데이터 형식으로, 데이터 관리의 유연성과 성능을 높인다.

  • 7-8. 폴라리스 카탈로그 [기술]

  • 폴라리스 카탈로그는 벤더 중립적인 열린 데이터 관리 플랫폼으로, Apache Iceberg와 같은 다양한 데이터 형식을 지원한다.

8. 출처 문서