하네스는 자율주행 시스템, 판정 노동의 무게를 다시 짚다
멀티에이전트 판정 노동 부담과 자율주행차 비유로 풀어낸 하네스 설계론.
16일 밤 10시 26분, 한 참가자가 멀티에이전트 워크플로우의 숨은 비용을 짚었다.
토론하고 자기들끼리 수렴안되는거 판정하는것도 엄청난 노동력..
여러 에이전트를 토론시켜 답을 찾게 해도, 그 토론이 수렴하지 않으면 결국 사람이 나서서 판정해야 한다는 지적이었다. 3분 뒤 다른 참가자가 자신이 쓴 하네스 설계 글의 링크를 공유하며 대화를 이어받았다.
자율주행차 비유로 설명한 하네스
이 참가자는 새로 합류한 사람과 나눈 대화를 인용하며 하네스라는 개념을 풀어냈다.
오늘 새로오신 분이랑 나눈 이야기인데 뉴 : 하네스 한테 다 해달라고 하면 되지 않아요? 나 : 그 하네스한테 수만 가지 규칙을 정의하고 구조를 만들고 테스트 해야하니까요, 자율주행차는 목적지만 입력하면 되지만 우리는 자율주행 시스템을 만들어야하니 수만번 고치고 테스트해야죠
목적지만 입력하면 되는 자율주행차 운전자와, 그 자율주행 시스템 자체를 만들어야 하는 개발자는 전혀 다른 입장이라는 비유였다. 하네스에게 "다 해달라"고 맡기는 것처럼 보여도, 그 뒤에는 수만 가지 규칙을 정의하고 구조를 짜고 반복해서 테스트하는 작업이 깔려 있다는 설명이었다.
편함의 트레이드오프
같은 참가자는 곧이어 이 구조가 가진 트레이드오프를 짚었다.
개발자가 편하면 사용자가 불편해지고, 하네스 만드는 사람이 편하면 하네스로 만든게 불편함을 유발하는거 같아요
하네스를 만드는 쪽이 편해지도록 지름길을 택하면, 그 하네스를 실제로 쓰는 쪽에서 불편을 감당하게 된다는 지적이었다. 이어서 해법의 방향도 제시했다.
하네스를 분해해서 어디가 자유로워야 하고 어디는 시키는거에서 벗어나면 안되는지도 생각해보면 좋다는 생각입니다
하네스 전체를 한 덩어리로 다루지 말고, 자유도를 줘야 하는 영역과 엄격하게 통제해야 하는 영역을 나눠서 설계해야 한다는 제안이었다.
판정 노동이 하네스 설계로 이어진 하루
사람이 에이전트 간 토론을 판정해야 하는 노동 부담에서 시작한 대화가, 하네스를 자유도와 통제 영역으로 쪼개 설계해야 한다는 결론으로 이어진 흐름은 눈여겨볼 만하다. 여러 에이전트에게 판단을 맡길수록 그 판단을 다시 검증하고 조율하는 사람의 몫이 늘어난다는 문제의식이, 하네스 설계 단계에서부터 자유도와 통제를 구분해야 한다는 제안으로 연결된 것으로 보인다. 자율주행차 비유가 짚어낸 것처럼, 목적지만 정하고 나머지를 통째로 맡기는 방식은 아직 멀었고, 그 사이의 수많은 규칙과 테스트가 지금 하네스를 만드는 사람들의 실제 노동이라는 점을 이 대화가 보여준다.
이 화두에는 7명이 참여해 32건의 메시지를 남겼다.