한눈에
Latent Space의 swyx가 AI Engineer NYC 현장에서 SF Compute CEO Evan Conrad를 만났다. 주제는 GPU를 사고파는 시장이다. 2년 전 첫 출연 이후 회사가 어떻게 바뀌었는지 이야기했다.
방 한 칸 팔다가 호텔을 운영하게 됐다
SF Compute는 처음에 클러스터 하나를 재임대하려 했다. 그런데 고객은 청소, 룸서비스, 보안까지 원했다. 결국 호텔 전체를 운영하게 됐다는 것이 Conrad의 비유다.
지금은 거래된 GPU를 실제로 넘겨주는 ‘실물 인도’를 한다. 이를 위해 클라우드 운영 기능을 거의 다 갖췄다. 다만 시장을 조작할 수 없도록 하드웨어는 직접 소유하지 않는다.
숫자
- 전체 용량 중 주문장에 올라간 비중: 약 5%
- 100달러어치를 산 고객이 되팔아 돌려받는 돈: 평균 약 25달러
- 계약 기간: 1시간부터 3~5년까지
- B300 한 장으로 추론해 버는 돈: 시간당 약 40달러 (이용률 절반이면 약 25달러)
- B300을 빌리는 값: 시간당 5~6달러
왜 중요한가
GPU는 세대, 메모리, 네트워크, 저장장치에 따라 값이 다르다. 그래서 원유처럼 표준 계약 하나로 묶기 어렵다. SF Compute는 표준화를 기다리지 않고, 조건이 다른 주문끼리 맞춰 주는 방식을 택했다.
Conrad는 NVIDIA, 대형 클라우드, CoreWeave 같은 업체는 이런 시장을 만들 수 없다고 했다. 중립성이 없으면 거래가 모이지 않고, 거래가 없으면 금융도 붙지 않는다는 것이다.
어떻게 바뀌나
고객이 InfiniBand 네트워크를 직접 나누고 다시 묶는 기능도 넣었다. 데이터센터를 소프트웨어로 다루는 쪽으로 가고 있다. 거래가 쌓이면 GPU 선물 가격이 클러스터 금융의 기준이 될 수 있다.