[서울=뉴스핌] 서영욱 기자 = 삼성전자가 인공지능(AI) 서버의 그래픽처리장치(GPU)를 추가하지 않고도 더 많은 이용자의 요청을 처리할 수 있도록 메모리 활용 효율을 높이는 기술을 개발했다. GPU와 중앙처리장치(CPU) 사이의 데이터 이동 비용을 계산해 불필요한 이동을 줄이고, 제한된 메모리 공간에서도 AI가 여러 이용자에게 빠르게 답변하도록 하는 기술이다.

AI 서비스가 대중화하면서 데이터센터의 GPU 확보 비용뿐 아니라 기존 장비의 활용도를 높이는 기술도 중요해지고 있다. 삼성전자의 이번 기술은 GPU 메모리 부족으로 발생하는 처리 지연을 줄여 AI 서비스의 토큰당 운영비용을 낮추고 추가 설비 투자 부담을 덜 수 있는 기술로 주목된다. 다만 실제 상용 서비스에서 처리량과 응답속도가 얼마나 개선되는지는 아직 확인되지 않았다.

20일 미국 특허정보 사이트 저스티아에 따르면 삼성전자가 출원한 '대규모 언어모델(LLM)의 다중 사용자 요청 처리 방법 및 서버' 특허가 지난 15일 공개됐다. 해당 기술은 이용자별 데이터 이동 비용과 메모리 사용량 등을 계산해 처리 순서를 조정하는 방식이다.

◆GPU 메모리 부족해도 척척…AI 처리 효율 높인다

이번 기술은 여러 이용자가 동시에 AI에 질문할 때 발생하는 GPU 메모리 부족 문제를 해결하는 데 초점을 맞췄다.

챗GPT와 같은 생성형 AI는 질문에 답하기 위해 GPU를 사용한다. GPU는 AI 연산을 빠르게 처리하지만 데이터를 임시로 저장하는 메모리 용량에는 한계가 있다. 이용자가 몰려 메모리가 부족해지면 일부 데이터를 중앙처리장치(CPU) 쪽 메모리로 옮겼다가 다시 가져와야 한다. 이 과정에서 시간이 걸리고 AI의 답변도 늦어질 수 있다.

이 같은 문제는 AI 활용이 확대될수록 중요해지고 있다. AI가 긴 문서를 분석하고 복잡한 업무를 처리하면서 메모리에 저장해야 할 데이터도 늘어나고 있기 때문이다. GPU의 연산 성능이 충분하더라도 메모리가 부족하면 AI 서비스의 처리 능력이 떨어질 수 있다.

삼성전자는 이러한 데이터 이동을 효율적으로 관리하는 알고리즘을 고안했다. 이용자별 대기시간과 데이터 이동에 걸리는 시간, 앞으로 필요한 메모리 용량 등을 계산해 어떤 질문을 먼저 처리할지 결정하는 방식이다.

불필요한 데이터 이동도 최소화했다. 기존에 CPU 메모리로 옮겼던 데이터가 남아 있다면 다시 복사하지 않고, 필요한 부분만 이동시킨다. AI가 한 이용자의 답변을 작성하는 동안 다른 이용자의 데이터를 옮기는 작업도 동시에 수행할 수 있다.

남는 메모리를 최대한 활용하는 기능도 담았다. 예를 들어 새로운 질문을 처리하는 데 메모리 공간 5칸이 필요한데 3칸만 남았다면, 기다리지 않고 3칸으로 처리할 수 있는 부분부터 계산하는 방식이다.

◆AI 토큰당 원가 낮추고 데이터센터 투자 부담 줄인다

삼성전자에 따르면 이번 기술은 특정 제품에 탑재되는 기능이 아니라 AI 데이터센터와 클라우드 서버의 추론 효율을 높이는 인프라 기술이다.

삼성전자 관계자는 "특허 사이트에 올라간 내용은 데이터센터·클라우드 환경에서 다수 사용자에게 LLM 서비스를 제공하는 서버에 적용되는 추론 효율화 기술"이라며 "제품에 적용되는 기술은 아니고, AI 기술 개발 인프라에 적용되는 기술"이라고 설명했다.

여러 이용자의 요청이 동시에 몰리는 AI 서버에서 메모리 활용도를 높이는 것이 핵심이다. 특히 AI 이용자가 급증하는 시간대에 같은 장비로 더 많은 요청을 처리하면서 응답 지연을 줄이는 효과를 기대할 수 있다.

이 기술은 AI 서비스의 수익성을 높이고 데이터센터 투자 부담을 줄일 수 있을 것으로 주목된다.

AI 서비스 기업들은 GPU 확보와 서버 운영에 막대한 비용을 투입하고 있다. 같은 GPU로 더 많은 질문과 답변을 처리할 수 있다면 추가 설비 투자 없이 서비스 처리량을 늘리고, AI가 답변을 생성하는 단위인 토큰당 원가도 낮출 수 있다.

대규모 GPU 인프라를 운영하는 클라우드 사업자에게도 의미가 있다. AI 서비스 수요가 늘어날 때마다 GPU를 추가로 구매하는 대신 기존 설비의 활용도를 높이면 투자 부담을 덜 수 있기 때문이다.

반도체업계 관계자는 "GPU 메모리 활용도를 높이면 AI 서버의 처리 효율을 개선하고 운영비를 절감하는 효과를 기대할 수 있다"면서도 "실제 어느 서비스에 적용될지 아직 확인되지 않은 만큼 기존 기술 대비 응답속도와 처리량이 얼마나 개선되는지 검증돼야 경제적 효과를 판단할 수 있을 것"이라고 말했다.

syu@newspim.com