본 연구실이 2024년도 하반기 삼성미래기술육성사업에 선정되었다. 이를 통해 2024년 12월부터 3년간 “Mobile-SpecInfer: 모바일 시스템용 생성형 언어모델의 Speculative 추론 가속” 기술을 연구하게 된다.
삼성미래기술육성사업은 대한민국의 기초과학 발전과 산업기술 혁신, 과학기술로 사회가 직면한 문제 해결, 그리고 세계적인 과학기술인 육성을 목표로, 삼성전자가 2013년부터 1조 5천억 원을 출연하여 시행하고 있는 순수 공익 목적의 과학기술 연구지원 사업이다.
본 연구에서는 서버 GPU에서 집중되어 온 LLM의 Speculative Inference 기술을 모바일 시스템에 처음으로 적용하는 연구를 수행한다. 이 과정에서 Speculative Inference를 위한 (1) 다양한 모델 압축 기법, (2) 모바일용 추론 엔진, (3) NPU 아키텍처 등 소프트웨어와 하드웨어를 아우르는 다양한 최적화 연구를 수행하며, 이러한 기술적 진보가 온-디바이스 LLM을 활용한 다양한 산업 기술 발전에 기여할 수 있을 것으로 기대한다.
관련 Links
