AMD, 윈도우에서 외장 GPU 없이 128B 파라미터 LLM 지원한다

| 스마트에프엔 = 양대규 기자 | AMD가 윈도우 AI PC에서 외장 GPU를 따로 탑재하지 않아도 128B의 대규모 언어 모델(LLM)을 구동할 수 있는 온디바이스 AI 기술을 개발했다. 

AMD는 라이젠(Ryzen) AI 맥스+ 395 128GB 프로세서를 통해 최대 128B 파라미터의 LLM을 윈도우에서 온디바이스로 실행할 수있는 KB 드라이버를 발표했다고 30일 밝혔다.

이는 아드레날린 에디션 25.8.1 드라이버의 일부로 포함된다. 메타의 라마 4 스카우트 109B(Llama 4 Scout 109B) 모델의 비전 기능과 MCP(Model Context Protocol)를 라마.ccp(llama.cpp)와 불칸(Vulkan)을 통해 지원할 수 있게 됐다. 

AMD VGM(Variable Graphics Memory)의 개선을 통해 시스템 램을 재할당해 최대 96GB의 연속적이고 전용된 그래픽 메모리를 iGPU에 사용할 수 있도록 했다. 이를 통해 외장 GPU 없이도 대형 모델(4비트 기준 128B 또는 FP16 기준 32B)을 로컬에서 실행할 수 있다는 것이다.

이 밖에도 장문의 문서, 다단계 추론 및 AI 에이전트 워크플로우를 위한 25만6000 토큰 컨텍스트 윈도우를 지원한다. 경량 어시스턴트부터 코딩 및 시각 작업용 고급 툴에 이르기까지 다양한 모델을 유연하게 실행할 수도 있다.