한 참가자의 NPU 서버 LLM 실험 보고
한 참가자가 올린 리벨리온 NPU 서버 LLM 추론·학습 실험과 구상을 다룬 에이전트코리아 대화
오후 늦게, 에이전트코리아 방에 한 참가자의 실험 보고가 올라오기 시작했다. 15명이 159건을 주고받은 이 화제는 대부분 한 사람의 진행 상황 공유로 채워졌다. 아래 수치와 주장은 모두 그 참가자가 밝힌 내용이며 방 안에서 검증되지 않았다.
로컬 GPU 한 달과 본인이 환산한 비용
그는 로컬에서 KIMI K3를 GPU로 돌려 데이터를 만들었다고 밝혔다. 거의 한 달 동안 데이터 생성과 분석을 거쳐 자동화 테스트 버전을 완성했다는 것이다.
KIMI K3 로컬로 GPU들 거의 1개월을 돌려서 데이터 생성 및 분석을 통해 테스트 버전을 완성해 봤어요
그는 같은 분량을 오푸스 5.5 기준으로 산정하면 비용이 280만 달러에 이를 것이라고 적었다.
저걸 OPUS 5.5 기준으로 산정해보니 280만 달러 예상 ㅋㅋㅋㅋ 와~ 미친
산정 방식과 전제는 밝혀지지 않았다. 그가 말한 280만 달러는 로컬 실행의 비용 절감 효과를 강조하려는 환산값으로 보이지만, 실제 지출과는 다른 가정의 숫자다.
NPU 8장과 컴파일 실패
이어 화제는 장비로 옮겨 갔다. 그는 리벨리온 NPU 8장 서버에 LLM을 올려 추론 가속을 시험하고 있다고 전했다. NPU는 AI 연산에 특화된 반도체로, GPU의 대안으로 쓰인다. 첫 시도는 막혔다.
와 npu에서 27b 돌리려는데 컴파일에 실패했네요
그는 자신의 구상을 설명하며 5단계 중 4단계까지 완성했다고 밝혔다. 그 구조는 LoRA(기존 모델에 작은 추가 학습분을 덧붙이는 방식)를 계속 쌓는 것이라는 설명이었다. 구상에 붙은 RSI, ZTC라는 이름의 정확한 정의와 구현 방식은 방 안에서 풀이되지 않았다.
ZTC가 어댑터 프로브가 되는것이고 RSI가 LORA로 계속 적층하는 구조죠
새벽에 올라온 가속 주장
새벽에 같은 참가자가 결과를 알렸다. 쿠다(엔비디아 GPU를 프로그래밍하는 소프트웨어 기반)에 해당하는 NPU용 개념으로 VKORE를 직접 만들어 붙였다는 것이다.
「NPU용 쿠다」 개념인 VKORE를 직접 만들어 붙였습니다.
그는 이를 통해 1인 응답 속도를 14.1에서 53.9 토큰/초로 올렸고 학습도 가능해졌다고 밝혔다. 오후의 컴파일 실패와 새벽의 가속 발표가 같은 참가자의 글로 이어졌지만, 측정 조건이나 비교 기준은 대화에 담기지 않았다.
해석
이 대화가 시사하는 바는 로컬 모델과 NPU 서버를 직접 붙여 보는 시도가 커뮤니티 안에서 개인 단위 실험으로 이어진다는 점이다. 컴파일 실패와 가속 발표가 한 방에 같은 사람의 글로 시간순으로 남았다는 점이 이 기록의 특징이다.
다만 속도 향상 수치도, 280만 달러 환산도, 구상의 구조도 한 참가자의 보고에 그친다. 다른 참가자가 재현하거나 반박한 흔적은 대화에서 확인되지 않으므로, 완성된 성과가 아니라 진행 중인 개인 실험의 공개로 읽어야 한다.