먼저 확실히 짚고 넘어가겠습니다. 이 글에서 다루는 ‘그로크(Groq)’는 일론 머스크의 xAI가 만든 챗봇 ‘Grok’과 철자만 비슷할 뿐 전혀 관계없는 별개의 회사입니다. 그로크(Groq)는 AI 반도체를 설계하는 캘리포니아의 스타트업이며, xAI의 Grok은 챗GPT와 경쟁하는 대화형 AI 서비스입니다. 이름의 유사성 때문에 검색 과정에서 종종 혼동이 발생하니, 이 글을 읽는 동안 ‘그로크 = 칩 만드는 회사’로 기억해두시면 좋습니다.
1. 기업 개요
그로크는 2016년경 미국 캘리포니아 마운틴뷰에서 설립된 비상장 반도체 스타트업입니다. 아직 증권거래소에 상장되어 있지 않아 일반 투자자가 주식 형태로 직접 매매할 수 있는 종목은 아닙니다. 최근 대규모 투자 라운드를 기준으로 기업가치는 약 28억~30억 달러 수준으로 평가받았던 것으로 알려져 있으며(2024년 8월 라운드 기준, 이후 추가 투자 논의가 이어지고 있어 최신 밸류에이션은 더 높게 추정되기도 합니다), 공동창업자 겸 CEO는 조너선 로스(Jonathan Ross)입니다. 그는 구글 재직 시절 TPU(Tensor Processing Unit) 초기 설계에 참여한 엔지니어 출신으로, 핵심 경영진에도 구글 TPU 팀 출신 인력이 다수 포진해 있습니다.
2. 창업 스토리
조너선 로스는 구글에서 TPU를 개발하며 한 가지 문제의식을 갖게 됩니다. GPU 기반 연산은 워낙 범용적으로 설계되어 있다 보니, AI 모델을 실행할 때마다 ‘다음에 어떤 연산이 얼마나 걸릴지’를 정확히 예측하기 어렵다는 점이었습니다. 그는 아예 실행 순서와 데이터 이동 경로를 칩이 동작하기 전, 즉 컴파일 단계에서 100% 확정해버리는 새로운 구조를 구상했고, 이를 실현하기 위해 2016년 그로크를 창업합니다.
초기에는 자금과 인력이 턱없이 부족한 전형적인 하드웨어 스타트업의 어려움을 겪었습니다. 반도체 설계는 소프트웨어와 달리 한 번의 설계 오류가 수개월~수년의 재작업으로 이어지는 영역이라, 첫 칩이 실제로 시장에서 주목받기까지 상당한 인내의 시간이 필요했습니다. 그러나 2023~2024년 들어 초거대 언어모델(LLM) 추론 시장이 폭발적으로 성장하면서, 그로크가 오랫동안 준비해온 ‘결정론적(deterministic) 추론 칩’이라는 컨셉이 정확히 시장의 니즈와 맞아떨어지기 시작했습니다. 조너선 로스는 현재도 CEO로서 회사를 직접 이끌고 있습니다.
3. 주력 사업 분야
그로크의 사업은 크게 두 축으로 나뉩니다. 하나는 자체 개발한 LPU(Language Processing Unit)라는 전용 반도체이고, 다른 하나는 이 칩을 클라우드 형태로 빌려주는 GroqCloud 추론 서비스입니다. 현재 매출은 완제품 칩 판매보다 GroqCloud를 통한 API 기반 추론 서비스와 대형 파트너·정부 대상 인프라 공급 계약 비중이 커지고 있는 것으로 알려져 있습니다.
여기서 그로크의 핵심 경쟁력이 드러납니다. 일반적인 GPU는 범용 연산을 처리하도록 설계되어 있어, 실행 중에 실시간으로 스케줄링과 메모리 접근 경로를 결정합니다. 이 과정에서 미세한 지연과 변동성이 발생할 수밖에 없습니다. 반면 LPU는 전용 컴파일러가 프로그램 실행 전에 모든 연산 순서와 데이터 이동 경로를 100% 미리 확정합니다. 그 결과 지연시간(latency)이 매우 일정하고 예측 가능하며, 토큰 생성 속도가 기존 GPU 대비 압도적으로 빠르다는 것이 그로크가 내세우는 차별점입니다. 실제로 공개 데모에서 초당 수백 토큰 이상의 생성 속도를 보여주며 업계의 주목을 받은 바 있습니다.
이러한 속도 우위를 바탕으로 그로크는 사우디아라비아를 비롯한 중동 국가들과 대규모 AI 인프라 공급 계약을 체결하며 사업을 확장하고 있습니다. 이는 단순 칩 판매를 넘어 국가 단위 AI 인프라 구축 파트너로 자리매김하려는 전략으로 해석됩니다.
중요한 점은, ‘결정론적 아키텍처’와 ‘이를 활용하기 위한 전용 컴파일러’가 하나의 세트로 결합되어 있다는 사실입니다. 이는 단순히 칩 설계도만 베낀다고 재현할 수 있는 것이 아니라, 하드웨어와 소프트웨어 스택 전체를 처음부터 함께 설계해야 하는 영역입니다. 그로크는 지금은 매출 규모나 조직 크기 면에서 엔비디아 같은 거대 기업에 비할 바가 아니지만, 이 아키텍처-컴파일러 결합 구조는 경쟁사가 단기간에 따라 하기 어려운 일종의 기술적 해자로 평가받습니다. 주요 경쟁자로는 압도적 1위인 엔비디아 외에도 유사한 추론 특화 칩을 개발 중인 샘바노바(SambaNova), 세레브라스(Cerebras) 등이 있습니다.
4. 매출 및 재무 성장
비상장사인 만큼 정확한 매출 수치가 정기적으로 공개되지는 않지만, 업계에 알려진 바로는 2023년까지는 매출 규모가 크지 않았던 반면, 2024년 이후 대형 클라우드 계약과 중동발 인프라 계약이 본격화되면서 매출이 빠르게 늘어나고 있는 것으로 추정됩니다. 누적 투자 유치액도 함께 늘어, 2024년 8월 시리즈 투자 라운드에서 약 6억 4천만 달러를 조달하며 기업가치를 크게 끌어올린 바 있습니다. 다만 대형 계약 한두 건에 매출 변동성이 크게 좌우되는 초기 스타트업 특유의 재무 구조를 감안할 필요가 있습니다.
5. 재무 건전성 스냅샷
그로크는 지금까지 누적으로 10억 달러 안팎(추정)의 외부 자금을 조달한 것으로 알려져 있습니다. 반도체 설계 및 제조(파운드리 위탁)에는 막대한 선행 투자가 필요하기 때문에, 대부분의 팹리스 반도체 스타트업과 마찬가지로 현금 소진 속도(burn rate)에 대한 우려가 꾸준히 제기됩니다. 아직 이익을 안정적으로 내는 단계가 아니어서 배당은 지급하지 않고 있으며, 당분간 배당보다는 성장과 시설 투자에 자금을 집중할 것으로 예상됩니다.
6. 강점과 리스크 요인
강점
- 결정론적 아키텍처 + 전용 컴파일러의 통합 설계로 인한 압도적인 추론 속도와 일정한 지연시간
- 실시간 음성 비서, AI 에이전트 등 ‘즉각적인 응답 속도’가 중요한 서비스에 특히 적합한 구조
- 구글 TPU 개발 경험을 가진 창업팀의 기술적 축적
- 따라잡기 어려운 하드웨어-소프트웨어 결합형 해자 – 지금은 규모가 작지만 구조적으로 유리한 포지션
리스크
- LPU는 HBM(고대역폭 메모리) 대신 온칩 SRAM에 의존하는 구조라, 메모리 용량이 제한적입니다. 이 때문에 초거대 모델을 처리하려면 다수의 칩을 묶어야 하는 비효율이 발생할 수 있습니다.
- 엔비디아뿐 아니라 아마존, 구글, 마이크로소프트 등 클라우드 대형사들이 자체 AI 칩을 만들고 있어 가격 경쟁이 갈수록 치열해지고 있습니다.
- 사우디아라비아 등과 체결한 대형 계약이 실제로 안정적으로 이행되고 지속 매출로 이어질지는 지켜봐야 할 부분입니다.
- 비상장 스타트업 특성상 추가 자금 조달 환경 변화에 취약할 수 있습니다.
7. 최근 이슈/뉴스
최근 수개월간 그로크는 중동 지역을 중심으로 한 대규모 데이터센터·인프라 공급 계약 소식이 이어지며 업계의 관심을 받고 있습니다. 또한 추가 자금 조달을 위한 신규 투자 라운드 논의가 진행 중이라는 보도가 나오며, 기업가치가 이전 라운드 대비 큰 폭으로 상향될 수 있다는 관측도 제기되고 있습니다. AI 추론 비용과 속도가 업계 화두로 떠오르면서, 그로크의 GroqCloud 서비스 이용 사례와 벤치마크 결과도 꾸준히 회자되고 있습니다.
위 내용은 정보 제공 목적이며, 실제 투자 결정은 본인의 판단과 리스크 감수 범위에 따라 신중히 하시길 권합니다.