TPU vs GPU: AI 답변을 만드는 두 칩

AI 답변을 만드는 두 종류의 칩, 범용 병렬 처리의 GPU와 메모리 접근에 강한 구글 TPU를 비교합니다. 학습과 추론의 차이, 칩 구조, 고객 확대와 NVIDIA의 대응을 함께 정리하며, 두 칩을 함께 쓰는 현실을 짚습니다.

⏱ 00:00구글 엔지니어 조너선 로스가 2013년 무렵 시작한 사이드 프로젝트가 TPU의 출발점이라고 소개합니다. 이 칩은 AI 연산 하나만을 위해 설계되었고, 이후 로스는 2016년 구글을 떠나 Groq를 세웠습니다.

2025년 12월 NVIDIA는 Groq의 기술을 라이선스하고 로스와 팀 대부분을 영입했으며, 보도된 금액은 약 200억 달러입니다. 이미 AI 칩 시장을 이끄는 기업이 왜 경쟁사의 아이디어에 큰 값을 치렀는지가 영상의 질문입니다.

⏱ 00:57AI 연산의 핵심은 큰 숫자 격자를 곱한 뒤 더하는 행렬 계산이며, 이것이 수십억 번 반복되어 챗봇 답변이나 번역, 이미지가 만들어집니다. 소수의 똑똑한 일꾼이 순서대로 처리하는 CPU는 이 작업에 너무 느리고, 단순한 연산을 동시에 수행하는 수천 개의 작은 일꾼이 GPU의 방식입니다.

GPU는 공유 메모리 선반을 오가며 데이터를 주고받아 병목이 생기는 반면, TPU는 시스토릭 어레이라 불리는 격자 구조에서 데이터가 옆 연산기로 흘러가며 선반을 거의 찾지 않습니다. 첫 TPU는 256×256 곱셈기 격자를 가졌다고 설명됩니다.

⏱ 02:45GPU는 원래 게임 화면의 수백만 픽셀 색을 한꺼번에 계산하기 위해 만들어졌습니다. NVIDIA가 2006년 CUDA를 공개해 게임 외 연산에도 쓰이게 되었고, 2012년 토론토 연구진의 AlexNet이 게이밍 GPU로 학습되어 이미지 대회에서 크게 앞서 우승하면서 AI 연구는 GPU와 CUDA에 몰리게 되었습니다. 이것이 NVIDIA의 소프트웨어 진입장벽이 되었습니다.

구글은 2013년 음성 검색 확장에 따른 데이터센터 수요 전망을 계기로 전용 칩 개발에 나섰고, 약 15개월 만에 설치했다고 밝힙니다. 2017년 구글은 자사 작업에서 당시 칩보다 15~30배 빠르다고 발표했지만, 초기에는 구글 클라우드 안에서만 빌려 쓸 수 있었습니다.

⏱ 04:36AI 칩의 일은 크게 두 가지입니다. 학습은 방대한 텍스트로 모델을 가르치는 순수 연산 문제라 칩을 많이 붙일수록 빨라지며 GPU가 강한 영역입니다. 추론은 사용자가 질문할 때마다 실행되며, 답변을 한 단어씩 만들 때마다 KV 캐시라는 이전 맥락 저장소를 참조하므로 연산보다 메모리에 얼마나 빨리 닿는지가 관건입니다.

Groq의 설계는 연산기 옆에 메모리를 붙여 추론 속도를 높이는 방향이었고, 영상은 NVIDIA가 이 기술에 큰 값을 치른 이유가 여기에 있다고 봅니다. 2026년 4월 구글은 8세대 TPU를 학습용 8t와 추론용 8i로 나눴고, 8i는 칩 위에 384MB 메모리를 두어 이전 세대의 3배라고 밝혔습니다.

⏱ 06:152025년 10월 Anthropic은 최대 100만 개의 구글 TPU를 사용하는 계약을 맺었고, 구글은 Gemini 3를 전적으로 자체 TPU로 학습했다고 밝혔습니다. Meta도 TPU 임대 계약을 맺은 것으로 보도되었고, 구글은 PyTorch 코드를 TPU에서 자연스럽게 돌리는 TorchTPU도 공개했습니다. NVIDIA는 72개 GPU를 하나처럼 묶는 시스템과 매년 새 설계로 맞서며 시스템 전체 관점을 강조합니다.

같은 고객이 여러 칩을 함께 쓰는 점이 이 경쟁의 특징입니다. 영상은 어떤 칩이 낫냐는 질문에 작업 유형에 따라 다르다고 답하며, 시간당 가격보다 작업 전체를 끝내는 데 드는 비용을 봐야 한다고 정리합니다. 양측이 각자 가장 좋은 수치를 고른 것이라 단정하기 어렵다는 점도 짚습니다.