Intelligent Memory

최근 빅데이터 처리 및 머신 러닝 연산에서 사용되는 데이터의 크기가 점점 커지고 있어, CPU나 GPU에서 연산을 수행하기 위해 메모리로부터 많은 양의 데이터를 읽어와야 하므로 데이터 전송 비용이 연산 비용에 못지않게 커지고 있다. 이러한 비용을 줄이기 위해 연산을 Data 근처에서 수행하여 데이터 이동을 최소화하는 PIM(Processing In-Memory) 기법이 연구되고 있다. 메모리 내부에 연산 장치를 추가하여 CPU로의 데이터 이동 없이 메모리 자체에서 연산을 실행하여 메모리 집약적인 응용을 수행할 때 메모리 대역폭에 의한 병목현상을 피할 수 있다.

최근 삼성전자에서는 HBM-PIM이라는 PIM 메모리 장치를 출시했는 데, PIM의 확산을 위해서는 PIM 장치뿐만 아니라 PIM을 활용하기 위한 Compiler와 Library 기술이 필요하다.

From “Hardware Architecture and Software Stack for PIM Based on Commercial DRAM Technology”, Samsung Electronics (ISCA’2021)

PIM Software Stack
  • Processing-in-Memory (PIM) Architecture
  • PIM용 Compiler/Runtime