[GPU 엔지니어링 #1] CPU vs GPU

들어가며..

최근 GPU 엔지니어링에 대해 공부한 내용을 블로그에 기록해 보려 합니다.

이 내용은 지식은 생각보다 쉽게 참고할 만한 레퍼런스가 많지 않더라고요. 그래서 학습 과정에서 여러 기업들의 딥다이브 테크 블로그와 NVIDIA 공식 문서, 그리고 Gemini와의 문답을 적극적으로 활용했습니다.

오로지 개인적인 핵심 개념 복습과 기록을 목적으로 작성하는 포스팅이다 보니, 글에 다소 두서가 없더라도 양해 부탁드립니다.

 

CPU(Central Processing Unit) vs GPU(Graphics Processing Unit)

CPU와 GPU는 겉보기엔 비슷한 실리콘 칩이지만, 탄생 목적부터 완전히 다른 "이종(Heterogeneous)" 프로세서입니다.

인터넷에서 본 비유로는,

• CPU: 소수의 똑똑한 교수님들이 복잡한 문제를 순서대로 빠르게 해결하는 것 (순차 처리)
• GPU: 수천 명의 초등학생들이 쉬운 문제를 동시에 해결하는 것 (병렬 처리 최적화)

Die 면적의 배분

CPU (Control Unit 중심, ALU 소수):

• 설계 철학: “어떤 복잡한 명령어가 와도 멈추지 않고 처리한다.”
• 구조: 전체 면적의 절반 이상을 캐시 메모리(L1/L2/L3)와 제어 유닛(Control Unit)이 차지합니다. 실제 연산을 담당하는 ALU(Arithmetic Logic Unit)의 비중은 상대적으로 작습니다.
• 이유: CPU는 운영체제 실행, I/O 인터럽트 처리, 조건 분기 등 예측 불가능하고 순서 의존적인 작업을 처리해야 합니다. 따라서 명령어의 순서를 바꾸어 최적화하는 비순차 실행(Out-of-Order Execution)이나 데이터가 오길 기다리는 시간을 줄이기 위한 거대한 캐시가 필수적입니다.
• Latency Oriented (지연 시간 최소화): 클럭 속도(GHz)를 극단적으로 높이고, 데이터가 메모리에서 오기를 기다리지 않도록 큰 캐시를 사용하여 '한 놈'을 아주 빠르게 처리합니다.

GPU (ALU 중심, Control Unit 최소화):

• 설계 철학: "계산할 게 산더미니, 관리자는 줄이고 일꾼을 늘린다."
• 구조: 다이 면적의 대부분을 수천 개의 ALU가 차지합니다. 캐시 메모리는 아주 작고, 제어 유닛은 단순합니다.
• 이유: 그래픽 렌더링이나 행렬 연산은 모든 픽셀(데이터)에 똑같은 계산을 반복합니다. 복잡한 흐름 제어보다는 단순히 계산량을 밀어붙이는 것이 중요하므로, 제어 로직을 쳐내고 그 자리에 연산 장치를 꽉 채워 넣었습니다.
• Throughput Oriented (처리량 최대화) : 클럭 속도는 CPU보다 낮지만, 수천 개의 스레드를 동시에 돌립니다. 메모리 로딩으로 인해 딜레이가 발생하면, 기다리지 않고 즉시 다른 스레드로 컨텍스트 스위칭하여 유휴 시간을 숨깁니다(Latency Hiding).

 

다음 포스팅에서는 GPU 병렬 처리의 핵심인 SIMT(Single Instruction, Multiple Threads) 구조와 GPU 명령어 집합에 대해 정리할 예정입니다.