SK하이닉스 "KV 캐시 급증…낸드에 새로운 수요 기회"

[아이뉴스24 권서아 기자] SK하이닉스는 28일 열린 올해 3분기 실적발표 컨퍼런스콜에서 "에이전틱 인공지능(AI)과 긴 콘텍스트(Context) 확산으로 KV 캐시 규모가 빠르게 증가하면서 이를 모두 고대역폭메모리(HBM)와 D램에 저장하기에는 용량과 비용의 한계가 있다"고 밝혔다.

이어 "데이터의 접근 빈도에 따라 HBM과 D램, SSD에 나눠 저장하는 계층형 메모리 구조가 더욱 중요해지고 있다"며 "낸드가 AI 추론에 필요한 콘텍스트를 보관하고 재사용하는 새로운 수요 기회를 맞을 것으로 기대한다"고 설명했다.

KV 캐시는 AI가 앞서 처리한 정보를 다시 활용하기 위해 임시로 저장하는 데이터다.

SK하이닉스는 "SSD는 이미 일부 AI 시스템에서 KV 캐시 오프로드에 활용되고 있다"며 "향후 여러 서버와 그래픽처리장치(GPU)가 대규모 KV 캐시를 공유하는 콘텍스트 메모리 계층으로 역할이 확대될 것으로 보고 있다"고 말했다.

기술 개발과 관련해서는 "SALT-KV와 CMM 하이브리드 등 메모리 계층화 기술을 개발하고 있다"고 밝혔다.

이어 "SALT-KV는 각 KV 캐시의 재사용 가치와 저장 비용을 판단해 HBM과 D램, SSD 간 데이터 배치를 최적화하는 소프트웨어 기술"이라며 "CMM 하이브리드는 전체 KV 캐시를 SSD에 저장하면서 향후 필요할 가능성이 높은 데이터를 예측해 D램으로 미리 불러오는 CXL 기반 하이브리드 메모리 기술"이라고 설명했다.

또 "최근 실제 AI 워크로드 기반의 시스템 시연을 통해 추론 환경에서 기업용 SSD(eSSD)의 적용 영역과 요구 성능을 구체화하고 있다"고 말했다.

그러면서 "중장기적으로는 낸드의 대용량과 비용 효율성에 고대역폭을 결합한 고대역폭플래시(HBF)로 HBM과 SSD 사이의 새로운 메모리 계층에도 대응할 계획"이라고 덧붙였다.