Snowflake Cortex를 통한 AI 활용 혁신과 데이터 관리

1. 요약

• 이 리포트는 Snowflake의 지능형 서비스인 Snowflake Cortex를 중심으로 AI 활용 방법과 데이터 관리 혁신을 다룹니다. Snowflake Cortex의 주요 기능으로는 데이터 관리를 위한 통합 거버넌스 프레임워크, 다양한 AI 모델 및 LLM 기능, 그리고 서버리스 함수를 포함합니다. 이러한 기능들은 Snowflake Data Cloud Summit 24에서 소개된 실제 사례를 통해 설명되며, Tasty Bytes와 같은 스타트업이 이를 어떻게 효과적으로 활용하고 있는지를 보여줍니다. 이를 통해 리포트는 Snowflake Cortex가 AI 애플리케이션 개발과 데이터 관리를 혁신하는 방식을 명확히 전달합니다.

2. Snowflake Cortex 소개 및 주요 기능

• 2-1. AI 모델 및 LLM 기능

• 생성형 AI는 혁신을 주도하고 생산성을 개선하며 데이터로부터 더 많은 가치를 창출할 수 있는 새로운 방법을 제시하고 있습니다. Snowflake Cortex는 사용자가 기술 역량과 관계없이 업계 최고의 AI 모델, LLM, 벡터 검색 기능은 물론 LLM 기반 경험 전반에 액세스할 수 있도록 지원합니다. 이러한 혁신은 모든 Snowflake 사용자가 전문 지식과 관계없이 생성형 AI의 성능을 안전하게 활용하고 엔터프라이즈 데이터에서 동적 인사이트를 얻을 수 있도록 돕습니다. LLM 기반 모델의 주요 기능은 다음과 같습니다: - Answer Extraction: 비정형 데이터에서 정보를 추출합니다. - Sentiment Detection: 테이블 전체의 텍스트에 내재한 감정을 감지합니다. - Text Summarization: 긴 문서를 요약합니다. - Translation: 텍스트를 대규모로 번역합니다. - Forecasting: 과거 시계열 데이터를 학습하고 계절성, 스케일링 등을 자동으로 처리하여 시계열을 미래로 추정합니다. - Anomaly Detection: 데이터 파이프라인 모니터링 등을 위해 시계열 데이터에서 이상값을 식별합니다. - Contribution Explorer: 특정 지표의 변경에 영향을 미치는 차원을 신속하게 식별합니다. - Classification: 데이터를 미리 정의된 클래스 또는 레이블로 분류하여 데이터 패턴을 기반으로 더 나은 추천을 제공합니다. 최신 LLM을 활용한 기능으로는 Complete, Text2SQL 등의 기능이 있습니다.

• 2-2. 서버리스 함수

• Snowflake Cortex는 일상적인 분석 및 AI 애플리케이션 개발을 손쉽게 가속화하는 서버리스 함수 세트를 제공하며 Snowflake 사용자는 단 한 줄의 SQL 또는 Python 코드만으로 특수 ML 및 LLM 모델에 즉시 액세스할 수 있습니다. 이러한 모델은 Snowflake Cortex를 통해 완전히 호스팅되고 관리되기 때문에 고비용의 GPU 인프라를 가동하고 관리할 필요가 없습니다. Snowflake Copilot은 자연어로 SQL을 생성하고 구체화하는 LLM 기반 어시스턴트로, 분석가가 Snowflake Copilot에 질문하면, 관련 테이블을 사용하여 SQL 쿼리를 작성합니다. 이러한 텍스트 코드 변환 기능은 Snowflake Cortex와 함께 범용 함수인 Text2SQL을 통해 제공될 예정입니다.

• 2-3. 통합 거버넌스 프레임워크

• Snowflake Cortex는 통합 거버넌스 프레임워크를 통해 데이터에 대한 액세스를 효과적으로 보호하고 관리할 수 있습니다. 이는 Snowflake 내에서 신속하게 데이터를 분석하고 AI 애플리케이션을 구축할 수 있도록 지원하는 방식을 제공하며, 데이터의 보안과 관리를 위한 여러 기능을 포함합니다.

3. Snowflake Cortex를 통한 AI 활용 사례

• 3-1. Answer Extraction

• Snowflake Cortex의 Answer Extraction 기능은 비정형 데이터에서 정보를 추출합니다. 사용자는 Snowflake Cortex를 통해 서버리스 함수 세트를 활용하여 단 한 줄의 SQL 또는 Python 코드만으로 특정 작업에 맞게 조정된 특수 ML 및 LLM 모델에 즉시 액세스할 수 있습니다.

• 3-2. Sentiment Detection

• Sentiment Detection 기능은 테이블 전체의 텍스트에 내재한 감정을 감지하는 기능을 제공합니다. 이 기능을 통해 사용자는 Snowflake Cortex를 사용하여 데이터 안에 포함된 감정을 분석하고 인사이트를 도출할 수 있습니다.

• 3-3. Text Summarization

• Text Summarization 기능은 긴 문서를 보다 빠르게 소비할 수 있도록 요약하는 서비스를 제공합니다. Snowflake Cortex의 서버리스 함수 세트를 활용하면 긴 텍스트를 보다 짧고 이해하기 쉬운 형식으로 변환할 수 있습니다.

• 3-4. Translation

• Translation 기능은 여러 언어의 텍스트를 대규모로 번역할 수 있습니다. 이 기능을 통해 사용자는 다양한 언어로 작성된 데이터를 쉽게 접근하고 활용할 수 있습니다.

4. Snowflake Data Cloud Summit 24에서의 실제 사례

• 4-1. Tasty Bytes 스타트업 사례

• Snowflake Data Cloud Summit 24의 세번째날 빌더 키노트에서는 'Tasty Bytes'라는 가상의 푸드트럭 스타트업을 통해 Snowflake Cortex의 다양한 기능을 시연했습니다. 이 스타트업은 데이터 수집 및 분석을 통해 고객들에게 고품질의 독특한 음식을 제공하는 것을 목표로 하고 있습니다. Tasty Bytes는 배치와 스트림 방식을 모두 통합하고, 데이터 사이언티스트와 데이터 분석가 간의 사일로 현상을 해결하기 위해 AI와 데이터를 활용하는 과정을 보여주었습니다.

• 4-2. 고객 리뷰 번역 및 감정 분석

• Tasty Bytes 스타트업의 첫번째 과제는 다양한 국가의 언어로 작성된 고객 리뷰를 영어로 번역하고 이를 분석하는 것이었습니다. Snowflake Cortex의 LLM 기능을 사용하여 SQL 함수를 통해 리뷰 텍스트를 영어로 번역하고, 긍정적 또는 부정적인지 감정 분석을 수행했습니다. 이렇게 분석된 데이터를 차트로 시각화하여 긍정적, 부정적 피드백의 분포를 파악하고, 부정적인 리뷰의 원인을 특정하기 위해 주요 키워드별 언급 빈도수를 세분화하여 분석했습니다.

• 4-3. 이메일 생성

• 고객 리뷰 분석 결과를 바탕으로 각 푸드트럭에 개별적으로 이슈 내용을 전달하기 위해 Snowflake Cortex의 LLM인 Arctic으로 이메일을 작성했습니다. 이를 통해 리뷰 분석 결과를 요약 및 정리하여 자동으로 이메일을 생성하였고, 이를 통해 시간과 노력을 크게 절약할 수 있었습니다.

• 4-4. RelationalAI를 활용한 소셜 미디어 분석

• Snowflake Cortex와 함께 RelationalAI를 사용하여 소셜 미디어 상의 고객 피드백을 분석하였습니다. SNS 상에서 '브리또가 차갑다'는 부정적인 리뷰를 작성한 고객과 그 친구들을 찾아내어 적절한 프로모션 대응이 필요했습니다. RelationalAI를 통해 그래프 형식으로 고객 관계를 시각화하고, 특정 커뮤니티 내에서 고객들의 관계를 분석하여 맞춤형 프로모션을 제공하는 방법을 시연했습니다.

5. 결론

• 이 리포트는 Snowflake Cortex가 AI 애플리케이션 개발과 데이터 관리의 혁신을 어떻게 주도하고 있는지를 체계적으로 분석합니다. 주요 기능인 AI 모델 및 LLM 기능, 서버리스 함수, 통합 거버넌스 프레임워크 등을 통해 Snowflake Cortex는 사용자의 전문 지식 여부와 관계없이 강력한 AI 기능을 효과적으로 제공하고 있습니다. 특히 Tasty Bytes 스타트업 사례를 통해 실질적인 적용 예시를 보여줌으로써 독자에게 구체적인 아이디어와 방법론을 전달합니다. 그러나 리포트는 Snowflake Cortex의 한계나 구체적인 배포 및 유지보수 관련 추가적인 정보는 제공하지 않았습니다. 앞으로 Snowflake Cortex의 지속적인 업데이트와 실질적인 적용 사례를 더욱 다양하게 제공함으로써 그 활용성을 높일 필요가 있습니다. AI와 데이터 관리의 미래는 Snowflake Cortex와 같은 혁신적인 도구들을 통해 더욱 발전할 것으로 기대됩니다.

6. 용어집

• 6-1. Snowflake Cortex [기술]

• Snowflake Cortex는 사용자들이 전문 지식 없이도 AI 기능을 활용할 수 있게 해주는 서비스입니다. 여러 가지 ML 및 LLM 모델과 같은 강력한 AI 기능을 제공하며, 데이터 접근을 보호하고 관리할 수 있는 통합 거버넌스 프레임워크도 갖추고 있습니다.

• 6-2. Tasty Bytes [회사]

• Tasty Bytes는 Snowflake를 사용하여 데이터 수집과 분석을 최적화하여 고품질의 독특한 음식을 효과적으로 제공하는 스타트업입니다. 이 회사는 Snowflake Cortex와 기타 Snowflake 기능을 활용하여 운영 효율성을 높였습니다.

7. 출처 문서

• Snowflake Cortex로 실현하는 신속한 AI 활용https://www.snowflake.com/blog/use-ai-snowflake-cortex/?lang=ko
• Snowflake Data Cloud Summit 24 — Day 3 Builder Keynotehttps://medium.com/@kyoungjin.choi/snowflake-data-cloud-summit-24-day-3-keynote-ef499590965a