HOME상담 문의
규격

데이터 레지던시에서 「추론 레지던시」로

오픈AI 코리아: 연산까지 국내에서. 지난해 구상과 지금 요구되는 인프라 규격이 다르다.

오픈AI 코리아가 국내 연산 인프라 확장 계획을 밝혔다. EBN에 따르면 김경훈 오픈AI 코리아 총괄 대표는 9월 9일 한국 오피스 출범 1주년 기자회견에서 "추론 레지던시(Inference Residency)"를 파트너사 인프라를 통해 선보일 방침이라고 말했다.

데이터 레지던시와 추론 레지던시

기사는 "데이터 저장 중심의 '데이터 레지던시'를 넘어, 실제 AI 연산까지 한국에서 처리하는" 것이라고 설명했다. 장기적으로는 오픈AI 모델을 국내 클라우드 사업자 시스템에 탑재할 가능성도 열어뒀다.

연산이 국내로 오면

저장은 스토리지 중심이지만, 추론은 GPU가 돌아가야 한다. 추론을 국내에서 처리한다는 것은 국내 데이터센터에 GPU 서버가 들어가고 그 전력과 냉각을 받을 상면이 필요하다는 뜻이다.

「지난해 구상과 지금 규격이 다르다」

스타게이트 일정에 대해 김 대표는 "기술 발전 속도가 빨라 지난해 10월 구상했던 데이터센터 형태와 현재 요구되는 인프라 규격 사이에 차이가 생겼다"고 말했다. 삼성·SK와의 세부 사항 조율에 예상보다 시간이 걸리고 있다는 설명이다.

김 대표는 어떤 규격이 달라졌는지 구체적으로 밝히지 않았다. 다만 같은 기간 랙 단위 시스템의 전력은 크게 올랐다. 엔비디아 베라 루빈 NVL72는 액체냉각 방식의 랙 단위 시스템이고, 랙당 전력은 약 225kW로 알려져 있다. 이전 세대 GB300은 약 150kW였다. 1년 전 설계한 전력·냉각 사양이 지금 장비에 맞지 않을 수 있다.

확인해야 할 것

확인된 사실

이 주제로 검토 중이시라면
- 규모 (MW) - 지금 단계 - 확인하고 싶은 것
견적문의 하기

출처

← AI 데이터센터 최신 뉴스와 정보 전체 보기