전병곤 프렌들리AI 대표 "사람 같은 AI 로봇?...'단기 기억' 재사용 기술이 해법"

[아이뉴스24 최효경 기자] 피지컬 인공지능(AI)이 사람처럼 판단하고 움직이려면 로봇이 방금 본 영상·센서 정보와 직전 작업 결과를 다음 행동에 빠르게 활용할 수 있어야 한다. 하지만 이때 AI가 이미 읽은 정보의 처리 결과를 저장해 두는 '단기 기억(KV 캐시)'이 커지면 그래픽처리장치(GPU) 메모리 부담과 응답 지연도 늘어난다.

단기 기억은 AI가 이미 읽은 대화·코드·영상 등의 처리 결과를 다음 판단에 다시 쓰기 위해 남겨두는 'KV 캐시(Key-Value Cache)'를 뜻한다. 전병곤 프렌들리AI 대표는 이 정보를 매번 다시 계산하지 않고 보관·재사용하는 추론 인프라를 해법으로 제시했다

전병곤 대표는 14일 서울 강남구 코엑스에서 과학기술정보통신부 주최, 피지컬 AI 얼라이언스와 정보통신산업진흥원(NIPA) 주관으로 열린 '피지컬 AI 테크 데이'에서 "코딩·과학·로봇 에이전트는 모두 여러 단계의 계획과 실행을 반복하며 작업을 이어간다"며 "AI 모델이 한 번 답을 내놓는 데 그치지 않고, 이전 작업 결과를 바탕으로 다음 행동을 결정하는 만큼 이를 뒷받침하는 '추론 기술'이 중요하다"고 말했다.

챗봇은 한 번 답하고, 에이전트는 끝날 때까지 일한다

전 대표는 "GLM-5 사례에서는 작업 이력이 3만 2000토큰일 때 2.74기가바이트(GiB)였던 KV 캐시가 12만 8000토큰으로 늘자 10.97GiB까지 커졌다"고 말했다. 작업 이력이 길어질수록 GPU 메모리 부담이 커지고, 같은 장비에서 동시에 처리할 수 있는 에이전트 수는 줄어든다는 것이다. GLM-5는 중국 AI 기업 지푸AI가 만든 대규모 언어모델(LLM)이다.

일반 챗봇은 질문을 받고 답을 내놓으면 대화가 끝난다. 반면 AI 에이전트는 파일을 읽고 코드를 수정한 뒤 테스트를 실행하고, 결과에 따라 다시 작업하는 식으로 과업이 끝날 때까지 여러 단계를 반복한다.

이 과정에서 앞선 대화와 작업 결과는 다음 판단을 위한 입력값으로 계속 쌓인다. AI가 이미 처리한 정보를 임시로 보관하는 'KV 캐시'도 함께 커진다.

그는 로봇도 이와 같은 문제를 안고 있다는 점에 주목했다. "자율 로봇은 카메라 영상과 센서 정보, 직전 행동 결과를 계속 축적한 뒤 이를 바탕으로 다음 움직임을 판단해야 하기 때문에 오히려 더 KV캐시 부담 문제가 더 클 수 있다"는 분석이다.

프렌들리AI, '다시 계산하지 않기' 해법 제시

전 대표는 이 같은 문제를 해결하기 위한 인프라로 프렌들리AI의 AI 에이전트용 추론 클라우드를 소개했다. 그는 "핵심은 AI가 이미 읽은 코드·대화·영상 등 작업 맥락을 매번 처음부터 다시 계산하지 않도록 하는 것"이라고 설명했다.

짧은 도구 실행 대기 중에는 KV 캐시를 GPU 메모리에 유지하고, 사람이 다시 입력하기까지 긴 공백이 생기면 서버 메모리(DRAM)나 공유 저장소로 옮긴 뒤 필요할 때 복원하는 방식이다. 다음 요청도 해당 작업 이력이 남아 있는 GPU로 보내 재계산을 줄이는 '캐시 인식 라우팅' 기술을 적용한다.

전 대표는 "이미 작업 이력이 남아 있는 GPU에서 응답 생성을 시작하기까지 0.5초가 걸린 반면, 캐시가 없는 GPU에서는 이전 문맥을 다시 처리하는 데 3.1초가 걸렸다"고 말했다. 이에 글로벌 GPU 클러스터의 라우팅·자동확장, 여러 요청을 묶어 처리하는 컨티뉴어스 배칭, 작업 맥락 재사용 기술을 함께 활용해야 한다는 설명이다.

전 대표는 300만 이용자를 둔 코딩 에이전트 '킬로(Kilo)'의 GLM-5 공급자 평가 사례도 공개했다. 그는 "킬로 측 평가에 따르면 프렌들리AI는 다른 공급자보다 지속적으로 7배 빠르고 오류율도 낮았다"고 말했다.

한편 류제명 과학기술정보통신부 차관은 개회사에서 "AI가 디지털 공간을 넘어 현실 세계로 확장되고 있다"며 "피지컬 AI가 산업 현장의 생산성과 안전성을 높이고 새 제품·서비스를 만드는 핵심 기술이 될 수 있다"고 말했다.

박윤규 정보통신산업진흥원(NIPA) 원장은 "AI의 가치는 단순 도입 규모가 아니라 일하는 방식과 산업 구조를 얼마나 바꾸는지에 달려 있다"며 "피지컬 AI를 통해 제조 현장의 데이터와 AI 모델, 운영 체계를 유기적으로 연결하겠다"고 밝혔다.