G 스토리

이슈 배경 및 포스팅 목표최근 ChatGPT와 같은 거대 언어 모델(LLM)과 딥러닝이 폭발적으로 성장하면서, GPU는 단순한 그래픽 처리 장치를 넘어 'AI 시대의 심장'이 되었습니다. 하지만 많은 분들이 비싼 GPU 서버를 구축하고도 "왜 기대만큼 연산 속도가 나오지 않을까?" 혹은 "왜 메모리(VRAM)는 마음대로 증설할 수 없을까?"라는 엔지니어링 문제에 부딪히곤 합니다.이러한 문제를 근본적으로 해결하려면 단순히 코드를 잘 짜는 것을 넘어, 코드가 실행되는 하드웨어 밑바닥의 작동 원리(아키텍처)를 이해해야 합니다.오늘 글에서는 CPU와 GPU의 설계 철학 차이에서 출발해, GPU의 핵심 실행 모델인 SIMT, 성능 저하의 주범인 분기 발산(Warp Divergence), 그리고 VRAM의 물리적 ..

들어가며..최근 GPU 엔지니어링에 대해 공부한 내용을 블로그에 기록해 보려 합니다.이 내용은 지식은 생각보다 쉽게 참고할 만한 레퍼런스가 많지 않더라고요. 그래서 학습 과정에서 여러 기업들의 딥다이브 테크 블로그와 NVIDIA 공식 문서, 그리고 Gemini와의 문답을 적극적으로 활용했습니다.오로지 개인적인 핵심 개념 복습과 기록을 목적으로 작성하는 포스팅이다 보니, 글에 다소 두서가 없더라도 양해 부탁드립니다. CPU(Central Processing Unit) vs GPU(Graphics Processing Unit)CPU와 GPU는 겉보기엔 비슷한 실리콘 칩이지만, 탄생 목적부터 완전히 다른 "이종(Heterogeneous)" 프로세서입니다.인터넷에서 본 비유로는,CPU: 소수의 똑똑한 교수님들이..