Your browser does not support JavaScript!

AI 기반 업스케일링 기술의 발전 및 주요 기업 동향

일일 보고서 2024년 07월 09일
goover

목차

  1. 요약
  2. AI 기반 업스케일링 기술의 개요
  3. 디지털 콘텐츠 분야에서의 적용사례
  4. 업스케일링 기술 개발의 주요 기업 동향
  5. AI 기반 업스케일링 기술의 현재와 미래
  6. 결론

1. 요약

  • 이 리포트는 AI 기반 업스케일링 기술의 성장 배경과 현재 동향을 중심으로, 주요 글로벌 테크 기업들의 적용 사례 및 기술적 발전에 대해 다룹니다. 업스케일링은 저화질 이미지를 고해상도로 변환하는 기술로, 인공지능(AI) 모델을 활용해 더욱 정교하게 화질을 향상시키는 방법입니다. 이러한 기술은 TV의 화질을 개선하는 삼성전자와 LG전자, 게임의 그래픽 성능을 높이는 엔비디아와 AMD 같은 다양한 기업들이 사용하고 있습니다. 주요 응용 사례로는 삼성전자의 '8K AI 업스케일링 프로'와 엔비디아의 'DLSS(Deep Learning Super Sampling)' 등이 있으며, 이는 디지털 콘텐츠의 품질을 크게 향상시키고 있습니다. 다양한 글로벌 기업들이 AI 업스케일링 기술을 활용해 제품의 품질과 사용자 경험을 높이는 데 주력하고 있습니다.

2. AI 기반 업스케일링 기술의 개요

  • 2-1. 업스케일링 기술의 정의 및 배경

  • 업스케일링은 이미지와 영상의 크기를 키우기 위한 기술로, 저화질 이미지를 큰 디스플레이 크기에 맞춰 억지로 늘리면 화소가 깨지고, 경계 부분이 계단처럼 보이는 '계단현상(Aliasing)'이 나타나는 문제를 해결하고자 합니다. 이를 위해 대상 픽셀과 가장 가까운 픽셀들의 평균값으로 부족한 부분을 추정해 채워 넣는 보간법이 사용되었습니다. 그러나 이러한 방식은 이미지 크기를 키우더라도 품질을 높이는 데 한계가 있었습니다. 최근에는 컨볼루션 신경망(CNN) 및 생성형 적대 신경망(GAN) 등 인공지능(AI) 모델을 활용해 더욱 정교하게 화질을 향상시키는 AI 기반 업스케일링 기술이 등장했습니다.

  • 2-2. AI를 활용한 업스케일링 기술의 등장 및 발전

  • AI 기반 업스케일링 기술은 단순히 이미지 품질을 높이는 것을 넘어, 패널의 화면 구현 성능을 높이고 게임 렌더링 효율성을 극대화하는 등 다양한 응용 분야에서 사용되고 있습니다. 많은 테크 기업들이 업스케일링 기술을 각각의 사업과 제품에 맞춰 개발하고 있으며, 대표적으로 삼성전자와 LG전자는 자사의 TV에 AI 칩을 장착해 화질을 개선하고 있습니다. 삼성전자의 '8K AI 업스케일링 프로'는 저해상도 영상을 8K 급으로 업스케일링하고, 명암비를 강화해 3차원 깊이감을 더하는 기능을 지원합니다. 또한, 엔비디아의 'DLSS'와 AMD의 'FSR' 같은 그래픽카드 제조사도 자체 업스케일링 기술을 개발해 게임의 화질을 높이는 데 기여하고 있습니다. DLSS는 'SR(Super Resolution)', 'FG(Frame Generation)', 'RR(Ray Reconstruction)' 기능을 통해 해상도를 높이고, 기존에 없었던 프레임을 생성하며, 노이즈를 제거하며 광원과 그림자, 빛 반사 영역까지 재현합니다.

3. 디지털 콘텐츠 분야에서의 적용사례

  • 3-1. TV 시장에서 AI 업스케일링 기술 적용 사례

  • 삼성전자와 LG전자는 이미 화질을 개선할 수 있는 AI 칩을 '온디바이스' 형태로 적용해 TV 제품을 출시하고 있습니다. 삼성전자는 '8K AI 업스케일링 프로' 기능을 통해 저해상도 영상도 8K 급으로 업스케일링하여 선명한 화질을 제공하고, 명암비를 강화하여 3차원 깊이감을 더했으며, 스포츠 종목을 자동 감지하여 움직임을 부드럽게 보정하는 기능까지 지원한다고 설명합니다. 이러한 AI 칩을 기기에 직접 장착하여 활용하는 사례가 늘어나고 있으며, 이는 대규모 연산을 필요로 하지 않는 단순한 기능이면서 폐쇄적인 개인정보만을 활용하는 AI 모델을 기기에 직접 AI 칩을 장착해 활용할 수 있게 합니다. 이는 생성형 AI 모델이 대용량 컴퓨팅 파워를 필요로 하는 원 서버(Origin Server) 대신, 성능이 제한적인 개인 컴퓨터나 모바일 기기에서도 기본적인 기능을 구현할 수 있게 합니다.

  • 3-2. 게임 업계에서의 AI 기반 업스케일링 활용

  • 게임 업계에서도 TV 업계 못지않게 업스케일링 기술에 적극적으로 투자하고 있습니다. 게임 제작사뿐만 아니라 그래픽카드 제조사도 나름의 방식으로 변형, 개발한 자체 업스케일링 기술을 잇따라 소개하고 있습니다. 엔비디아의 'DLSS(Deep Learning Super Sampling)'와 AMD의 'FSR(FidelityFX Super Resolution)'이 대표적인 사례입니다. DLSS는 해상도를 키우는 'SR(Super Resolution)', 기존에 없었던 프레임을 새롭게 생성해 영상의 움직임을 부드럽게 만드는 'FG(Frame Generation)', 노이즈를 제거하면서도 광원과 그림자, 빛 반사 영역까지 그대로 재현해주는 'RR(Ray Reconstruction)' 등의 기능을 갖추고 있습니다. 이는 저화질 콘텐츠를 고해상도로 감상하게 하는 것뿐만 아니라 연산 효율을 높이기 위해 활용됩니다. 게임 그래픽을 구성하는 디지털 정보를 빠르게 처리하고, 마지막에 고해상도로 영상을 업스케일링하여 실시간 반응성을 중시하는 게임 몰입감을 극대화합니다. 다만, 이러한 기술은 특정 게임에 제한적으로 적용되고, 언리얼엔진 등의 게임 개발 도구를 통해 개발 단계부터 DLSS 적용을 설정할 수 있어야 하며, 해당 게임의 그래픽 정보를 사전에 엔비디아 GPU가 학습해 두어야 합니다.

4. 업스케일링 기술 개발의 주요 기업 동향

  • 4-1. 삼성전자와 LG전자의 TV 시장 내 적용

  • 정보통신산업진흥원(NIPA)이 발표한 자료에 따르면, 삼성전자와 LG전자는 이미 제품에 AI를 활용한 업스케일링 기술을 적용하고 있습니다. 삼성전자는 '8K AI 업스케일링 프로' 기능을 탑재한 '네오 QLED 8K' TV를 출시하였으며, 이는 저해상도 영상도 8K급으로 업스케일링하여 선명한 화질과 향상된 명암비를 제공하고, 스포츠 종목을 자동 감지하여 움직임을 부드럽게 보정하는 기능까지 지원합니다. 이 기술은 AI 칩을 기기에 직접 장착하는 '온디바이스AI' 형태로 구현되어, 인터넷 연결 없이도 기능 수행이 가능합니다.

  • 4-2. 엔비디아와 AMD의 게임 업계 내 적용 사례

  • 게임 업계에서는 엔비디아와 AMD가 업스케일링 기술을 적극 도입하고 있습니다. 엔비디아의 'DLSS(Deep Learning Super Sampling)'와 AMD의 'FSR(FidelityFX Super Resolution)'이 대표적인 예입니다. DLSS는 해상도를 키우는 'SR(Super Resolution)', 프레임을 새롭게 생성해 영상의 움직임을 부드럽게 만드는 'FG(Frame Generation)', 노이즈를 제거하면서도 광원과 그림자, 빛 반사 영역을 재현해주는 'RR(Ray Reconstruction)' 등의 기능을 갖추었습니다. 이런 기술들은 특히 그래픽카드에 적용되어 게임 렌더링 효율을 극대화하는 데 쓰이며, 일부러 해상도를 낮춰 빠르게 연산한 뒤, 마지막에 고해상도로 업스케일링하는 방식을 사용해 실시간 반응성을 강화합니다.

  • 4-3. 기타 글로벌 테크 기업들의 기술 도입 상황

  • 다양한 글로벌 테크 기업들도 AI 기반 업스케일링 기술을 각자의 제품과 사업에 맞게 변형하여 적용하고 있습니다. 예를 들면, 토파즈(Topaz)는 AI 모델을 활용해 콘텐츠 파일 자체를 업스케일링, 복원 및 개선하는 기술을 개발하였으며, 국내의 SKT와 포바이포(4BY4)도 각각 '수퍼노바 AI'와 '픽셀'이라는 화질 개선 AI 솔루션을 보유하고 있습니다. 특히 포바이포의 '픽셀' 솔루션은 해상도, 채도, 명암비, 선예도를 동시에 개선하는 기술로 CES 2024에서 혁신상을 수상하기도 했습니다. 이러한 AI 기술들은 콘텐츠의 화질 향상뿐만 아니라 작업 효율성 강화와 처리속도 향상에도 기여하고 있습니다.

5. AI 기반 업스케일링 기술의 현재와 미래

  • 5-1. AI 업스케일링 기술의 현재 상태

  • 정보통신산업진흥원(NIPA)이 지난달 발표한 자료에 따르면, 디지털 콘텐츠 부문에서 급성장한 유망 기술 1위는 ‘업스케일링(Upscaling)’으로 나타났습니다. 2023년 5월부터 2024년 4월까지 IT 뉴스매체를 대상으로 키워드를 분석한 결과, 업스케일링은 100% 성장했습니다. 업스케일링은 저화질 이미지를 큰 디스플레이 크기에 맞춰 억지로 늘리는 기술로, 인공지능(AI)을 활용해 더욱 정교하게 화질을 끌어올리고 있습니다. AI 업스케일링 기술은 TV, 게임, 영상 처리 등 여러 분야에서 다양하게 활용되고 있습니다. TV 업계에서는 삼성전자와 LG전자가 제품에 AI 칩을 ‘온디바이스’ 형태로 적용하여 화질을 개선하고 있습니다. 예를 들어, 삼성전자의 '8K AI 업스케일링 프로(Pro)' 기능이 탑재된 프리미엄 TV는 저해상도 영상을 8K 급으로 업스케일링해 선명한 화질을 제공합니다. 또한, 명암비를 강화해 3차원 깊이감을 더하고, 스포츠 종목을 자동 감지해 움직임을 부드럽게 보정하는 기능도 지원합니다. 게임 업계에서도 엔비디아의 ‘DLSS(Deep Learning Super Sampling)’와 AMD의 ‘FSR(FidelityFX Super Resolution)’ 같은 기술을 통해 게임의 화질과 몰입감을 개선하고 있습니다. 이러한 업스케일링 기술은 연산 효율성을 높이기 위해 저화질로 신속하게 렌더링한 후 고해상도로 영상을 업스케일링하는 방식을 채택하고 있습니다. 콘텐츠 자체를 고도화하는 업스케일링 기술도 있습니다. 이는 파일 자체를 AI 모델로 분석하고 업스케일링, 복원, 개선 등의 과정을 처리하여 더욱 확실한 화질 개선을 이룰 수 있습니다. 국내의 대표적인 기업으로는 SKT의 ‘수퍼노바 AI’와 포바이포(4BY4)의 ‘픽셀’ 등이 있습니다. 포바이포의 픽셀 솔루션은 해상도와 이미지 크기를 업스케일링하면서 채도, 명암비, 디노이즈, 선예도 등을 동시에 개선합니다.

  • 5-2. 기술적 한계와 향후 발전 가능성

  • AI 업스케일링 기술은 다양한 장점이 있지만 몇 가지 한계도 존재합니다. 먼저, 상당한 연산 자원이 필요합니다. 고성능 컴퓨팅 파워를 요구하기 때문에 보통 원 서버(Origin Server)인 데이터센터를 활용하는 경우가 많습니다. 이는 촘촘하게 연결된 온라인망이나 인터넷 환경이 필요하다는 것을 의미합니다. 일부 단순한 기능을 구현하는 경우에는 기기에 직접 AI 칩을 장착하기도 하지만, 대규모 연산을 필요로 하지 않는 경우에 한정됩니다. 또한, 특정 게임에만 제한적으로 적용될 수 있다는 단점도 있습니다. 예를 들어, 엔비디아 DLSS는 특정 게임의 그래픽 정보를 사전에 엔비디아 GPU가 학습해야만 효과적으로 작동할 수 있습니다. 기술 발전에도 불구하고 콘텐츠 오리지널리티 훼손 문제도 존재합니다. 화질 개선과 같은 기술적 처리가 원본 콘텐츠의 고유성을 훼손할 가능성이 있습니다. 따라서 이러한 한계를 극복하기 위한 추가 연구가 필요합니다. 현재 AI 업스케일링 기술은 TV, 게임, 영상 처리 등 기존 미디어 콘텐츠의 품질을 개선하는 데 중요한 역할을 하고 있으며, 향후 VR, AR 등의 새로운 미디어 플랫폼에도 적용 가능성이 높습니다. 디지털 콘텐츠 업계 관계자들은 이러한 기술이 기기, 반도체, 플랫폼, 특수효과 등 다양한 영역에서 작업 효율을 높이거나 처리 속도를 빠르게 하는 방식으로 활용될 가능성이 높다고 전망합니다.

6. 결론

  • 디지털 콘텐츠 산업에서 AI 기반 업스케일링 기술은 현재 큰 역할을 하고 있으며, 삼성전자와 LG전자, 엔비디아와 AMD와 같은 회사들이 이를 통해 급성장을 이루고 있습니다. AI 업스케일링 기술은 기존 미디어 콘텐츠의 화질을 개선하고, VR, AR 등의 새로운 미디어 플랫폼에도 높은 적용 가능성을 보입니다. 그러나 이러한 기술은 고성능 연산 자원을 많이 소모하고, 특정 콘텐츠의 오리지널리티를 훼손할 가능성 등의 한계를 가지고 있습니다. 따라서, 추가 연구와 기술 개선이 필요합니다. 종합적으로, AI 업스케일링 기술은 향후 디지털 콘텐츠와 관련된 다양한 분야에서 매우 중요한 존재가 될 것입니다. 국내외 기업들은 이 기술을 통해 작업 효율을 높이고, 처리 속도를 빠르게 하며, 사용자 경험을 향상시키는 데 주력하고 있습니다. 예를 들어, 국내 포바이포의 '픽셀' 솔루션은 화질 향상과 동시에 여러 이미지 매개변수를 개선하여 CES 2024 혁신상을 수상하기도 했습니다. 앞으로도 AI 업스케일링은 디지털 콘텐츠의 품질을 높이고 다양한 응용 분야에서 큰 영향을 미칠 것으로 기대됩니다.

7. 용어집

  • 7-1. 업스케일링 (Upscaling) [기술]

  • 업스케일링은 저해상도의 이미지를 고해상도로 변환하는 기술로, AI 모델을 활용해 화질을 개선하고 세부사항을 복원하는 데 사용됨. TV, 게임, 영상 편집 등 다양한 분야에서 활용됨.

  • 7-2. 삼성전자 [회사]

  • 삼성전자는 AI 업스케일링 기술을 자사의 TV 제품 라인업에서 적극 도입하여 탁월한 화질을 제공함. 최신 AI 기술을 통해 영상의 상세도를 높이고 사용자 경험을 향상시키고 있음.

  • 7-3. 엔비디아 [회사]

  • 엔비디아는 게임 그래픽 향상을 위해 AI 업스케일링 기술인 DLSS(Deep Learning Super Sampling)를 개발하여 게임 업계에서 큰 주목을 받음. 해당 기술은 게임의 해상도와 성능을 모두 높이는 데 기여함.

  • 7-4. AMD [회사]

  • AMD는 게임 업계에서 사용되는 업스케일링 기술인 FSR(FidelityFX Super Resolution)을 개발하였으며, 이는 게임의 그래픽 성능을 높이기 위해 사용됨. 엔비디아의 DLSS와 경쟁 관계에 있음.

8. 출처 문서