AI Accelerator와 NPU란? CPU·GPU와 무엇이 다를까?
CPU·GPU·NPU의 역할을 행렬·MAC 연산과 데이터 재사용으로 비교합니다. 연산 정밀도, 메모리 대역폭, 전력과 소프트웨어가 실제 AI 성능에 미치는 영향을 이해합니다.
추천 읽기 순서용어사전어디까지 알아야 하나요?관련 직무
3줄 요약
- AI Accelerator는 AI 연산을 효율적으로 실행하도록 설계하거나 활용하는 하드웨어입니다.
- NPU는 신경망 연산에 특화된 프로세서이며, 모든 AI 가속기를 뜻하는 이름은 아닙니다.
- 실제 성능은 연산량뿐 아니라 데이터 이동·정밀도·모델과 소프트웨어의 지원에 좌우됩니다.
이 페이지 목차
쉬운 설명: 같은 계산을 잘하는 전용 작업대CPU·GPU·NPU는 어떤 일을 나눠 할까?핵심 원리: 행렬·MAC·Tensor숫자를 얼마나 자세히 표현할까?왜 TOPS·FLOPS만으로 판단하면 안 될까?현업과 연결하기자주 하는 오해면접에서 설명해보기개념 확인 자료쉬운 설명: 같은 계산을 잘하는 전용 작업대
AI 모델은 입력 데이터와 학습한 가중치를 이용해 출력을 계산합니다. AI Accelerator는 이런 계산을 빠르고 에너지 효율적으로 처리하는 하드웨어를 가리키는 넓은 표현입니다. AI에 활용되는 GPU, 신경망 특화 NPU, Google의 TPU 같은 형태가 있습니다. CPU에도 AI 가속 명령이나 연산 블록이 있을 수 있습니다.
다양한 일을 처리하는 작업실 안에 반복 작업에 맞춘 전용 작업대를 둔다고 생각해보세요. 전용 작업대는 잘 맞는 작업에 효율적이지만, 모든 업무를 대신하지는 않습니다. **NPU(Neural Processing Unit)**는 그중 신경망 계산에 맞춘 프로세서입니다. 제품마다 지원 연산, 메모리 구조와 목표가 다릅니다.
CPU·GPU·NPU는 어떤 일을 나눠 할까?
| 구분 | 학습할 핵심 | AI 시스템에서의 역할 |
|---|---|---|
| CPU | 유연한 명령 처리와 제어 | 프로그램 실행, 데이터 준비, 복잡한 분기와 순차 작업 |
| GPU | 많은 연산 자원의 병렬 활용 | AI 학습·추론과 여러 병렬 계산 |
| NPU | 신경망 연산과 데이터 이동 최적화 | 지원하는 모델·연산을 목표 전력과 지연시간 안에 실행 |
CPU도 병렬 계산을 하고 GPU도 제어 명령을 실행합니다. 이 표는 강점의 차이를 설명하며, 이름만으로 속도 순위를 정하지 않습니다. 작은 입력, 미지원 연산, 장치 사이 복사 시간이 크면 전용 가속기의 이점이 줄어듭니다.
핵심 원리: 행렬·MAC·Tensor
**Matrix Multiplication(행렬 곱셈)**은 숫자를 행과 열로 정리한 뒤, 대응하는 숫자들을 곱해 더하는 계산입니다. 예를 들어 입력 [2, 3]과 가중치 [4, 5]의 내적은 2×4 + 3×5 = 23입니다. 이는 원리를 보여주는 가상 예시이며 실제 신경망 전체를 나타내지는 않습니다.
**MAC(Multiply-Accumulate)**는 곱한 값을 누적하는 작업입니다. 여러 MAC을 병렬로 배치하고 입력·가중치를 가까운 SRAM이나 버퍼에 재사용하면 외부 메모리 접근을 줄일 수 있습니다. 재사용 정도는 모델, 연산 배치와 메모리 크기에 따라 다릅니다.
Tensor는 데이터를 여러 축으로 배열한 표현입니다. 행렬은 2차원 Tensor의 예이며, 이미지 묶음은 배치·높이·폭·채널 등의 축을 가질 수 있습니다. Tensor라는 이름 자체가 특정 메모리나 연산기 종류를 뜻하지 않습니다.
숫자를 얼마나 자세히 표현할까?
| 형식 | 의미 | 확인할 점 |
|---|---|---|
| FP32 | 32비트 부동소수점 | 표현 정밀도가 높지만 저장·전송량도 큼 |
| FP16 | 16비트 부동소수점 | FP32보다 표현 범위와 정밀도가 제한됨 |
| BF16 | 16비트 부동소수점 | 지수 비트 수는 FP32와 같고 유효숫자 정밀도는 더 낮음 |
| INT8 | 8비트 정수 | 양자화 스케일·범위 설정과 정확도 검증이 필요 |
낮은 비트 수가 자동으로 같은 정확도를 보장하지는 않습니다. 입력 형식과 누적 결과의 형식도 다를 수 있습니다. FP16/BF16으로 곱하고 더 높은 정밀도로 누적하는 구현처럼, 연산 단계를 나눠 확인해야 합니다.
왜 TOPS·FLOPS만으로 판단하면 안 될까?
TOPS는 초당 연산 수를, FLOPS는 초당 부동소수점 연산 수를 표현합니다. MAC을 두 연산으로 집계하는지, 정밀도와 희소성 조건은 무엇인지부터 맞춰야 합니다. 최대 수치는 모든 연산기가 충분히 일할 때의 조건이며 실제 모델 속도와 같지 않습니다.
모델을 메모리에 담을 수 있는 용량, 필요한 데이터를 보내는 대역폭, 이동 에너지, 연산 지원과 컴파일러가 함께 성능을 결정합니다. 학습과 추론에서도 모델·배치·입력 길이에 따라 병목이 달라집니다. Memory Wall에서 이 관계를 이어서 공부하세요.
현업과 연결하기
소자·공정은 속도·누설·변동과 수율의 기반을 만들고, 회로설계는 연산기와 메모리 계층·전력 제어를 설계합니다. 메모리는 데이터를 공급하며, 패키징은 칩 간 연결과 전력·열 경로를 구현합니다. HBM과 Thermal Management는 이 시스템 연결을 이해하는 후속 주제입니다.
제조 Data·AI 트랙에서는 가속기 설계 전문가가 되는 것보다, 분석 모델의 실행 환경·데이터 크기·정확도와 비용을 설명할 수준을 목표로 합니다.
자주 하는 오해
- NPU와 AI Accelerator는 동의어가 아닙니다. 전자는 신경망 특화 프로세서이고 후자는 더 넓은 범주입니다.
- 모든 NPU가 HBM을 쓰거나 학습까지 지원하는 것은 아닙니다. 온디바이스 추론과 데이터센터 학습의 요구는 다릅니다.
- 연산기 수가 늘어도 데이터를 기다리거나 지원하지 않는 연산을 우회하면 실제 속도 향상은 제한됩니다.
면접에서 설명해보기
아래는 FlashMemory 자체 연습문제이며 기업 공식 기출이 아닙니다. 기존 면접 키워드와 함께 설명을 연습하세요.
기본 질문: CPU·GPU·NPU의 차이를 설명해보세요.
유연한 제어, 대규모 병렬 연산, 신경망 특화의 차이를 말한 뒤 실제로 함께 동작한다는 점을 덧붙이세요. 우열보다 작업의 특성과 지원 범위를 연결합니다.
꼬리질문: NPU의 TOPS는 늘었는데 추론 속도가 같다면 무엇을 확인할까요?
모델 연산 지원, 정밀도와 정확도, 배치·병렬성, 메모리 대역폭·용량, 데이터 복사와 소프트웨어 실행 시간을 나눠 확인합니다.
개념 확인 자료
어디까지 알아야 하나요?
아래는 AI Accelerator와 NPU란? CPU·GPU와 무엇이 다를까?의 학습 목표입니다. 직무별 모듈에서 필요한 수준을 함께 확인하세요. 회사의 공식 평가 기준이나 합격 기준은 아닙니다.
설명할 수 있어야 합니다
CPU·GPU·NPU 역할 비교
설명할 수 있어야 합니다
MAC와 데이터 재사용 이해
생각해볼 수 있어야 합니다
정밀도와 측정 조건 비교
더 깊게 연결해보세요
직무와 시스템 절충 연결
이 기술을 이해했나요?
공통 기초 · NPU가 CPU를 완전히 대체하나요?
아닙니다. CPU는 제어와 다양한 프로그램을 맡고 GPU·NPU는 적합한 연산을 가속합니다. 지원하지 않는 연산이나 전처리는 다른 장치에서 실행할 수 있습니다.
직무 핵심 · MAC 배열을 늘리면 성능도 같은 비율로 증가하나요?
데이터 공급, 병렬성, 지원 연산과 메모리 용량이 충분해야 합니다. 가중치와 입력을 가까운 메모리에서 재사용하는 구조도 중요합니다.
실무 연결 · INT8 TOPS가 높은 칩이 FP16 칩보다 항상 빠른가요?
형식·정확도·모델·배치·희소성·측정 범위를 맞춰야 합니다. 다른 조건의 최대 연산 수만으로 실제 속도를 비교할 수 없습니다.
심화 · AI 칩의 전력 효율을 높이는 방법은 무엇일까요?
연산기뿐 아니라 데이터 이동을 줄이는 회로·메모리 구조, 공정·소자 특성, 패키지 연결과 열 관리를 함께 검토합니다.
면접 키워드와 연결하기
관련 기술
함께 살펴볼 기술
반도체를 이해하기 위한 전기 기초 — 전압·전류·저항·커패시터
전하·전압·전류에서 RC 충방전까지 계산하고 MOSFET·CMOS·DRAM의 전력과 지연으로 연결합니다.
현업 이슈 읽기: HBM4·3D NAND·본딩·High-NA EUV
기초에서 배운 원리로 최신 발표의 문제·공정 변화·개발 상태를 해석하기.
BEOL이란? 반도체 트랜지스터를 연결하는 금속 배선 기술
FEOL·MOL·BEOL의 역할과 Contact·Via·Metal Line을 구분합니다. 배선 RC 지연, Barrier·Liner·Low-k와 미세화·Electromigration의 절충을 연결합니다.