파이토치 코리아 챌린지 1위, 젬마4 4B 추론 속도를 초당 510토큰까지 끌어올리다

저녁 6시23분, 한 참여자가 파이토치 코리아가 주최한 Fast Gemma Challenge에서 1위를 차지했다는 소식을 링크와 함께 올렸다. 방 곳곳에서 곧바로 축하 인사가 이어졌다.

"제가 어찌하다보니 1위를 해버렸어요. 축하해주세요."

2분 뒤, 그 참여자는 성취를 자신의 몫으로만 돌리지 않았다. "이방에서 열심히 정보 나누고 눈팅 열심히 한 덕분입니다"라며 공을 커뮤니티로 돌린 것이다. 저녁 7시5분에는 "감사 감사 합니다. 더 빠르게 가속 시캬보겠습니다"라며 다음 목표를 예고했다.

7시12분, 실제 성과의 내용이 구체적으로 공개됐다. 젬마4(Gemma4) 4B 모델을 A10g GPU에서 초당 510.58 토큰까지 생성하도록 가속했다는 것이다. 이 참여자는 원래 기본값이 초당 몇십 토큰 수준이었다고 덧붙여, 이번 결과가 단순한 미세 조정이 아니라 구조적인 최적화였음을 짐작하게 했다. 7시20분에는 "대단하십니다"라는 짧은 감탄이 뒤따랐다.

이 화두에는 이날 밤 17명이 몰려 24건의 메시지를 주고받았다. 저녁 시간대 한 시간이 채 안 되는 사이에 벌어진 짧은 대화치고는 적지 않은 참여였고, 방 전체가 하루를 여는 소식으로 이 성과를 받아들였다는 것을 보여준다.

이 라운드가 눈길을 끄는 것은 단지 개인 성과 때문만은 아니다. 우승자 스스로 방의 정보 공유 문화를 성과의 배경으로 지목했고, 곧바로 구체적인 수치까지 공개해 검증 가능한 형태로 만들었다는 점에서 이 커뮤니티가 실전 최적화 지식을 확인하고 축적해가는 방식을 보여주는 사례로 읽힌다. 몇십 토큰대에서 500토큰대로 올라간 이번 벤치마크는, 로컬 GPU 환경에서도 세심한 튜닝만으로 상당한 속도 개선이 가능하다는 것을 시사한다.

같은 방에서 곧바로 축하와 구체적 수치 공유가 함께 이뤄졌다는 점도 눈에 띈다. 성과를 발표한 뒤 몇 분 안에 벤치마크 수치까지 공개되는 흐름은, 이 커뮤니티가 단순한 응원을 넘어 재현 가능한 정보 교환의 장으로 기능하고 있다는 것을 보여준다. 우승 소식 하나가 곧바로 실측 데이터 공유로 이어졌다는 점에서, 이 방의 축하 문화가 성과를 검증하는 절차와 맞물려 있다는 것도 함께 드러난다.

이 소식은 그날 밤 방을 채운 여러 화두 가운데 가장 먼저 등장해 분위기를 띄운 소식이었다. 곧이어 구글의 제미나이 스파크가 하루 만에 자취를 감췄다는 비판이 뒤따른 것과 견주면, 방 구성원이 직접 만들어낸 성과에는 아낌없는 환호가 쏟아졌다는 대비가 뚜렷하다. 대기업이 내놓은 완성도 낮은 도구에는 냉소를, 개인이 로컬 GPU 한 장으로 일군 결과물에는 박수를 보내는 이 온도차는, 이 커뮤니티가 무엇을 더 신뢰하는지를 보여준다. 검증 가능한 수치를 직접 들고 온 기록이, 화려한 홍보 없이도 더 크게 환영받는다는 것을 이 저녁의 대비가 보여준 셈이다.