옵시디언 LLM 위키 규칙 문서가 3만 자까지 불었다 — 기본 규칙은 10줄로 줄이고 나머지는 나누라는 조언
LLM 위키 규칙 문서 분량 문제와 구글 OKF 적용 사례가 오간 더배러 대화
아침 8시 15분, 더배러에 규칙 문서를 걱정하는 질문이 올라왔다. 한 참여자가 LLM 위키(모델이 읽고 쓰는 지식 문서 모음)를 만지다 보니 옵시디언의 규칙 문서가 약 3만 자까지 불었다며 이렇게 물었다.
llmwiki 만지다보니 어느새 옵시디언 llmwiki 규칙문서 약3만자 정도 되는데 llm이 빼먹지않고 소화가능할까요?
규칙 문서는 모델이 지켜야 할 지침을 적어 둔 문서를 가리킨다. 질문에 만지다 보니 어느새 불었다는 말이 들어 있는 만큼, 처음부터 크게 설계했다기보다 지침을 하나씩 얹다 보니 커진 문서로 읽힌다. 이 주제에는 8명이 22건을 주고받았다.
돌아온 답은 줄이라는 것이었다. 규칙을 더 촘촘히 적을수록 좋다는 직관과는 반대 방향의 조언이다. 한 개발자는 기본 규칙 문서를 최대 10줄 수준으로 극단적으로 줄이고, 꼭 필요한 문서만 따로 분리하라고 했다. 그는 이어 같은 자리에서 이유도 덧붙였다.
규칙문서 내에 상충되는 내용들이 많아지면 성능 떨어집니다
질문이 모델이 빼먹지 않고 소화할 수 있느냐였던 만큼, 답의 초점도 모델이 읽는 쪽의 한계에 맞춰졌다. 분량 자체보다 문서 안에서 내용이 서로 부딪히는 것을 성능 저하의 원인으로 짚은 셈이다. 다만 이는 한 개발자의 경험에 바탕한 조언이며, 3만 자 문서가 실제로 얼마나 지켜지는지 잰 결과는 이날 대화에 나오지 않았다.
오후에는 표준 이야기로
오후에는 이야기가 개인의 요령에서 공통 표준으로 넘어갔다. 한 참여자가 구글 OKF를 개인 지식관리에 적용한 사례와 frontmatter(문서 맨 위에 적는 속성 정보) 구성을 묻자 논의가 이어졌다. 질문한 참여자는 스스로 OKF를 구체적인 가이드라인이라기보다 아직은 이런 것이 필요하다고 문제를 제기하는 쪽에 가까운 표준 제안이라고 평했다. 몇 분 뒤 한 참여자는 LLM 위키와 OKF를 적용해 만든 자기 사이트를 소개했다.
아침에는 줄이고 나누라는 처방이, 오후에는 문서 구성을 공통으로 맞추자는 논의가 나온 것이다. 앞의 조언이 문서 하나를 짧게 유지하는 요령이라면, 뒤의 논의는 나눈 문서들을 어떤 틀로 묶을지에 가깝다. 두 이야기가 같은 날 한 방에서 나란히 나온 점은, 규칙 문서 관리가 개인의 요령과 공통 약속 사이에 걸쳐 있음을 시사한다.
다만 오후 논의는 질문한 참여자가 표준을 평가하고 다른 참여자가 자기 적용 사례를 소개한 정도에서 그쳤다. 표준이 실제로 규칙 문서 분량 문제를 풀어 주는지는 이날 대화에서 확인되지 않았고, 이 문제의 답도 아직은 개인 경험에 기대고 있는 것으로 보인다.
이날 규칙 문서 이야기를 한 줄로 줄이면, 문서를 키우는 쪽보다 덜어내고 나누는 쪽에 무게가 실렸다는 것이다. 아침에는 세 참여자가 3만 자를 다 지키기는 어렵다고 본 점이 그 배경으로 보인다.