Intelligent Embedded Systems Research Laboratory, Sungkyunkwan University.
- Phone : +82-31-299-4662
- Email : dongkun at skku.edu
- Address
400309, Semiconductor Building, Sungkyunkwan University
Seobu-ro 2066 (300 Cheoncheon-dong), Jangan-gu, Suwon, Gyeonggi-do 440-746, Korea
Intelligent Embedded Systems 연구실은 On-device Machine Learning, ML System Optimization, 지능형 Storage/Memory System을 연구하는 곳입니다.
최근 CNN (Convolution Neural Network), LLM (Large Language Model) 등 Machine Learning (ML) 기술의 발전으로 다양한 장치에서 ML 기반 응용이 개발되고 있으며, 이러한 ML 응용을 제한된 시스템의 지원으로 효율적으로 실행하는 것이 중요한 이슈로 부가되고 있습니다.
LLM Serving을 위한 고성능 GPU 서버에서는 RAG (Retrieval Augmented Generation)의 등장으로 제한된 GPU memory를 고려한 효과적인 KV Cache의 관리가 필요합니다.
또한, Mobile Phone이나 Edge 장치를 위한 on-device machine learning 등장으로 연산량이 많고 자원소모가 큰 deep neural network (DNN) model을 on-device에서 실행하기 위한 모델 최적화 및 NPU (Neural Processor Unit) 가속이 필요해 지고 있습니다.
본 연구실에서는 DNN compression (pruning, quantization) 기법, Efficient ML Inference 기법, LLM Serving 기법, NPU Architecture 및 Compiler를 연구하고 있습니다.
또한, 대량의 데이터를 처리해야 하는 최근 응용에서 문제가 되고 있는 CPU와 Memory사이, 또는 Host와 Storage사이의 data transfer를 줄이기 위해서 Memory에 연산 장치를 탑재한 PIM (Processing-in-Memory)과 SSD storage 장치내부에서 연산을 수행하는 ISC (In-Storage Computing) 연구 및 ML 기법을 이용한 SSD 최적화 연구, 운영체제 최적화 기법도 연구하고 있습니다.
관련제품: 삼성전자 HBM-PIM, 하이닉스 AiM, 삼성전자 SmartSSD
2017~2024년 동안 IITP에서 지원하는 Software Star Lab으로 지정되어 8년간 연 3억원의 funding을 지원받아 지능형 IoT 프레워크를 개발하는 과제를 수행했으며, 2024년부터 삼성 미래기술과제로 Mobile-SpecInfer: 모바일 시스템용 생성형 언어모델의 Speculative 추론 가속 과제를 진행 중에 있습니다.
Machine Learning, Computer Architecture, Compiler, Operating System분야의 대학원생 및 학부연구생을 상시 모집합니다. 연구 참여 및 면담 관련 문의는 이메일로 접수합니다.