AI 자동매매, 전업 참가자가 고른 건 딥러닝이 아니라 xgboost였다 — 백테스트 고수익은 과적합이라는 경고

23일 에이전트코리아에서 저녁판이 다룬 구간(오전 10시 반~오후 5시)은 AI 자동매매가 허상이냐는 논쟁으로 시작됐다. 10시 39분 한 참가자가 "허상아닙니다 O.o 저 지금 전업 자동매맨데"라며 곧바로 반론을 냈다. 판단을 AI에 맡겨 돈을 번다는 이야기가 과장 아니냐는 물음에, 그 일을 생업으로 한다는 사람이 직접 답한 것이다. 이 화제에는 18명이 362건을 주고받아, 이 구간의 일곱 개 토픽 가운데 가장 많은 메시지가 오갔다.

이 참가자는 매매 판단에 LLM(대형 언어 모델)을 쓰지 않고 ML(머신러닝) 모델을 쓴다고 했다. 고가 GPU로 딥러닝을 돌려봤지만, 개인 CPU에서도 도는 xgboost(결정 트리를 여러 개 쌓아 예측하는 머신러닝 알고리즘)가 더 잘 나왔다는 경험이다. 지금은 "저는 xgboost lambdaMART로 랭킹기반으로" 종목을 점수화한다고 설명했다. 종목마다 점수를 매겨 줄을 세우는 랭킹 방식이라는 점이 눈에 띈다.

이어 그는 백테스트(과거 데이터로 전략을 시험해 보는 일)에서만 좋았던 기법 목록을 길게 올렸다. 화려한 과거 성적이 곧 실전 수익을 뜻하지는 않는다는 그의 주장이었다. 목록의 요지는 한 줄로 모였다.

백테스팅해놓고 몇백퍼 몇천퍼 나온다 << 100% 과적합입니다

어디까지나 이 참가자 본인의 경험에서 나온 주장이다. 과적합은 모델이 과거 데이터의 우연한 패턴까지 외워, 새 데이터 앞에서는 성능이 무너지는 현상을 말한다. 그는 페이퍼트레이딩(가상 자금으로 하는 모의 매매)도 슬리피지(주문한 가격과 실제 체결 가격의 차이) 때문에 실수익과 다르다고 덧붙였다. 10시 48분에는 다른 참가자가 "백테스팅 5년치 자료 120기가 받아서 해봤는데 과적합 피해보려고 해도 쉽지 않음"이라고 거들었다. 직접 돌려봤다는 두 참가자의 경험담이 같은 방향의 경계로 모인 셈이다.

대화가 길어지자 10시 59분 "주식, 코인 관련 조항이 있는데"라는 지적이 나오며 방 규칙이 환기됐다. 논의는 투자 권유는 아니었다는 선에서 정리됐다. 경험담이 길어질수록 특정 종목이나 수익 이야기로 흐를 여지도 커지는 만큼, 규칙 환기는 대화를 다시 기술 쪽으로 돌려놓는 역할을 한 것으로 보인다. 기술 토론과 투자 조언 사이의 경계를 방 스스로 확인한 장면으로 읽힌다.

눈여겨볼 대목은 AI 커뮤니티에서 나온 답이 더 큰 모델이 아니었다는 점이다. 같은 날 방에는 오푸스 5.5 실사용기와 모델별 한도 소모 비교가 쏟아졌지만, 자동매매 논쟁에서 참가자들이 강조한 건 가벼운 모델과 백테스트 성적을 의심하는 습관이었다. 자동매매의 성패가 모델 규모보다 검증의 정직함에 달려 있다는 현장 감각을 시사한다. 다만 이는 어디까지나 참가자들이 자기 백테스트와 매매 경험을 바탕으로 한 주장이며, 검증된 수익 기준이나 수익을 보장하는 방법으로 제시된 것은 아니다.