Welcome to the web page of Intelligent Embedded Systems Research Laboratory, Sungkyunkwan University.
- Phone : +82-31-299-4662
- Email : dongkun at skku.edu
- Address
400309, Semiconductor Building, Sungkyunkwan University
Seobu-ro 2066 (300 Cheoncheon-dong), Jangan-gu, Suwon, Gyeonggi-do 440-746, Korea
Intelligent Embedded Systems 연구실은 On-device Machine Learning, ML System Optimization, 지능형 Storage/Memory System을 연구하는 곳입니다.
최근 CNN (Convolution Neural Network), LLM (Large Language Model) 등 Machine Learning (ML) 기술의 발전으로 다양한 장치에서 ML 기반 응용이 개발되고 있으며, 이러한 ML 응용을 제한된 시스템의 지원으로 효율적으로 실행하는 것이 중요한 이슈로 부가되고 있습니다.
LLM Serving을 위한 고성능 GPU 서버에서는 RAG (Retrieval Augmented Generation)의 등장으로 제한된 GPU memory를 고려한 효과적인 KV Cache의 관리가 필요합니다.
또한, Mobile Phone이나 Edge 장치를 위한 on-device machine learning 등장으로 연산량이 많고 자원소모가 큰 deep neural network (DNN) model을 on-device에서 실행하기 위한 모델 최적화 및 NPU (Neural Processor Unit) 가속이 필요해 지고 있습니다.
본 연구실에서는 DNN compression (pruning, quantization) 기법, Efficient ML Inference 기법, LLM Serving 기법, NPU Architecture 및 Compiler를 연구하고 있습니다.
또한, 대량의 데이터를 처리해야 하는 최근 응용에서 문제가 되고 있는 CPU와 Memory사이, 또는 Host와 Storage사이의 data transfer를 줄이기 위해서 Memory에 연산 장치를 탑재한 PIM (Processing-in-Memory)과 SSD storage 장치내부에서 연산을 수행하는 ISC (In-Storage Computing) 연구 및 ML 기법을 이용한 SSD 최적화 연구, 운영체제 최적화 기법도 연구하고 있습니다.
관련제품: 삼성전자 HBM-PIM, 하이닉스 AiM, 삼성전자 SmartSSD
2017~2024년 동안 IITP에서 지원하는 Software Star Lab으로 지정되어 8년간 연 3억원의 funding을 지원받아 지능형 IoT 프레워크를 개발하는 과제를 수행했으며, 2024년부터 삼성 미래기술과제로 Mobile-SpecInfer: 모바일 시스템용 생성형 언어모델의 Speculative 추론 가속 과제를 진행 중에 있습니다.
Machine Learning, Computer Architecture, Compiler, Operating System에 관심 있는 대학원과 학부연구생을 상시 모집하고 있으니 관심 있는 학생은 면담 요청해 주시기 바랍니다.