발행일 2026년 8월 28일 · AI Future Weekly #007
이번 주 한 문장: AI 경쟁의 기준이 ‘가장 똑똑한 모델’에서 같은 전력과 시간으로 얼마나 많은 유용한 추론을 안정적으로 제공하느냐로 이동하고 있다.
이번 주 AI 산업을 가장 선명하게 보여준 숫자는 두 개였다. 하나는 NVIDIA의 분기 매출 962억 달러, 다른 하나는 OpenAI가 공개한 자체 추론 칩의 전력당 처리량이었다. 앞의 숫자는 AI 인프라 수요가 얼마나 거대한지 보여주고, 뒤의 숫자는 그 수요를 누가 어떤 구조로 감당할 것인지 묻는다.
그래서 이번 주의 핵심은 ‘GPU가 끝났다’거나 ‘자체 칩이 승리했다’는 선언이 아니다. 범용 가속기, 맞춤형 반도체, 고대역폭메모리(HBM), 네트워크와 냉각을 하나의 시스템으로 묶어 유용한 토큰의 원가를 낮추는 경쟁이 본격화됐다는 점이다. 토큰은 AI가 문장을 읽고 생성할 때 사용하는 작은 정보 단위다. 같은 모델이라도 응답시간, 전력, 메모리, 동시 사용자 수에 따라 토큰 한 개의 실제 비용은 크게 달라진다.
962억 달러가 증명한 것과 증명하지 못한 것
NVIDIA는 8월 26일 발표한 2027회계연도 2분기 실적에서 매출 962억 달러를 기록했다고 밝혔다. 전년 동기보다 106% 늘었고, 이 가운데 데이터센터 매출은 890억 달러로 117% 증가했다. 다음 분기 매출 전망은 1,080억 달러다. 이 수치는 AI 컴퓨팅 수요가 실험 단계를 넘어 거대한 산업 매출로 전환되고 있음을 보여준다. NVIDIA의 SEC 제출 자료에서 확인할 수 있다.
그러나 높은 매출이 곧 모든 도입 기업의 투자수익률을 증명하지는 않는다. 칩 공급자의 매출과 사용 기업이 AI로 얻는 생산성·수익은 다른 장부에 기록된다. 독립 연구기관 Epoch AI의 모형에 따르면 1기가와트급 AI 데이터센터는 초기 자본지출 약 380억 달러, 연간 총소유비용 약 85억 달러가 필요하다. 특정 사업장의 실제 견적이 아닌 미국 하이퍼스케일러를 가정한 모형이며, 장비 수명과 전력가격에 따라 결과가 달라진다. 그럼에도 서버가 연간 비용의 약 60%를 차지한다는 분석은 왜 업계가 칩의 최고 성능보다 활용률과 전력당 성능을 묻기 시작했는지 설명한다. Epoch AI의 비용 모형
Hot Chips가 바꾼 질문: 얼마나 빠른가보다 어디에 맞췄는가
8월 24~25일 열린 Hot Chips 2026의 프로그램은 이 변화의 축소판이었다. NVIDIA Rubin과 AMD MI400은 대규모 학습과 추론을 위한 랙 단위 시스템을 내세웠고, Intel Crescent Island는 기존 공랭식 데이터센터에 넣을 수 있는 350와트 추론용 카드를 제시했다. Google은 학습용 TPU 8t와 추론용 TPU 8i를 분리했고, Microsoft는 Maia 200을, OpenAI는 자체 추론 칩 Jalapeño를 설명했다. Hot Chips 공식 프로그램
공통점은 부품 하나의 연산량보다 워크로드에 맞춘 시스템 설계다. 에이전트형 AI는 한 번 답하고 끝나지 않는다. 긴 문맥을 읽고, 도구를 부르고, 결과를 다시 판단하는 여러 단계가 이어진다. 이때 첫 답이 늦어지거나 단계마다 지연이 누적되면 최대 처리량이 높아도 사용자는 느리다고 느낀다. 따라서 ‘초당 토큰 수’ 하나만으로는 충분하지 않고, 사용자당 응답속도·동시 처리량·전력·비용을 함께 봐야 한다.
OpenAI의 자체 칩은 NVIDIA의 종말이 아니라 협상력의 시작이다
OpenAI는 8월 25일 Jalapeño의 첫 측정 결과를 공개했다. 공개 추론 벤치마크 InferenceX에서 GPT-OSS 120B, DeepSeek R1, Kimi K2.5를 시험했고, 비교 대상 시스템보다 전력당 처리량이 약 1.5~1.9배 높고 종단 간 지연시간이 약 1.7~3.6배 낮았다고 주장했다. 다만 이는 OpenAI가 자사 칩으로 수행한 결과이며 아직 대규모 상용 배치에서 독립적으로 재현된 성적표는 아니다. 비교 조건과 소프트웨어 최적화도 결과에 영향을 준다. OpenAI 기술 발표와 InferenceX 방법론을 함께 읽어야 하는 이유다.
더 중요한 사실은 OpenAI도 NVIDIA 가속기를 계속 사용하겠다고 밝혔다는 점이다. 맞춤형 반도체는 모든 범용 GPU를 대체하기보다, 반복 규모가 큰 특정 추론 작업의 비용을 낮추고 공급자와의 협상력을 높이는 도구에 가깝다. 모델 기업이 칩을 만들고, 클라우드 기업이 자체 가속기를 늘리며, GPU 기업이 CPU·네트워크·소프트웨어까지 묶는 이유가 여기 있다. 경쟁 단위가 ‘칩’에서 ‘전체 스택’으로 커지고 있다.
병목은 연산에서 메모리와 배치 능력으로 이동한다
AI 칩의 비용구조도 같은 방향을 가리킨다. Epoch AI는 NVIDIA·AMD·Google·Amazon의 주요 AI 칩 생산량을 가중해 추정한 결과, HBM이 부품비에서 차지하는 비중이 2024년 1분기 52%에서 2025년 4분기 63%로 늘었다고 분석했다. 계약가격과 생산량 추정에 불확실성이 있지만, 메모리가 단순 보조 부품이 아니라 핵심 병목이 됐다는 신호다. Epoch AI 분석
이 흐름은 앞서 살펴본 HBM4 경쟁과도 이어진다. 좋은 모델을 보유해도 필요한 메모리와 패키징, 전력, 냉각, 네트워크를 안정적으로 확보하지 못하면 서비스 품질과 원가를 통제하기 어렵다. 반대로 거대한 모델을 무조건 호출하지 않고 업무에 맞는 작은 오픈 모델을 로컬이나 전용 환경에 배치하면 비용과 데이터 통제권을 함께 얻을 수 있다. Gemma 10억 다운로드의 의미가 단순 인기보다 배치 선택권에 있었던 이유도 같다.
Stanford AI Index 2026은 2025년 주목할 만한 최전선 모델의 90% 이상이 산업계에서 나왔고, 생성형 AI 이용이 빠르게 확산됐다고 집계한다. 동시에 첨단 칩 제조가 소수 기업과 지역에 집중돼 있다고 지적한다. 모델 접근성은 넓어지지만 이를 안정적으로 돌릴 인프라의 통제력은 오히려 집중될 수 있다는 뜻이다. Stanford AI Index 2026
기업과 개인이 확인할 다섯 가지
- 품질 기준: 최고 벤치마크가 아니라 실제 업무의 정확도와 실패율을 측정했는가.
- 전체 비용: API 가격뿐 아니라 검수 인력, 지연시간, 저장·네트워크 비용까지 포함했는가.
- 배치 선택권: 클라우드, 사내 서버, 로컬 장치 사이를 옮길 수 있는가.
- 공급망과 중단 위험: 특정 칩·클라우드·모델에 장애가 생겼을 때 대체 경로가 있는가.
- 인간의 통제: 더 싼 추론이 더 많은 자동화를 유도할 때 누가 검증하고 중지하며 책임지는가.
토큰이 싸질수록 AI는 더 많은 일상적 판단 속으로 들어온다. 비용 절감은 접근성을 넓히지만, 검토하지 않은 자동화의 양도 키울 수 있다. 따라서 기술팀의 목표를 ‘토큰당 비용 최소화’ 하나로 두어서는 안 된다. 오류 한 건의 사회적 비용, 개인정보 노출, 업무 중단, 인간의 이의제기 가능성까지 포함한 책임 있는 배치 비용을 계산해야 한다.
다음 주에 볼 것
다음 주에는 세 가지를 확인할 필요가 있다. 첫째, NVIDIA의 1,080억 달러 매출 전망이 실제 주문과 공급능력으로 이어지는가. 둘째, Jalapeño의 성능이 더 다양한 모델과 상용 환경에서 재현되는가. 셋째, HBM·전력·냉각 비용이 낮아져 AI 이용자의 가격과 선택권으로 전달되는가. 이번 주 달라진 것은 칩 이름이 아니다. AI의 힘을 평가하는 질문이 ‘무엇을 할 수 있는가’에서 ‘그 능력을 누구의 인프라 위에서, 얼마의 비용과 책임으로 지속할 수 있는가’로 옮겨갔다는 점이다.
댓글
댓글 쓰기