상위 모델일수록 환각이 그럴듯하다 — 세션 모드와 하네스의 실무
AI 실무 커뮤니티에서 검증된 운영 노하우가 하나로 수렴하고 있다. 긴 작업은 세션 모드가 안정적이고, 강력한 모델일수록 검증 구조를 먼저 걸어야 한다는 것. 실행 방식 선택과 하네스 설계를 분리해 정리한다.
먼저 결론
- 긴 작업은 세션 모드가 기본이다. 봇 모드는 즉답용 — 다단계 작업을 맡기면 맥락이 끊긴다.
- 상위 모델일수록 하네스가 필요하다. 중간 모델의 작업 지시서 → 피드백 루프 → 완료 체크리스트의 3단 검증이 실무 기본형.
- 모델 교체는 이어서가 아니라 재분담이다. 계획 모델과 구현 모델을 나누면 품질이 유지된다.
주의할 해석: 세션 모드는 대화 창을 오래 여는 방법이 아니라, 작업 단위로 맥락을 나누는 운영 방식이다. 모드를 바꾸는 것만으로 검증이 생기지는 않는다.
1. 같은 도구인데 결과가 다른 이유
AI 코딩 도구를 쓰는 팀들 사이에서 반복되는 질문이 있다. 같은 모델, 같은 도구를 쓰는데 왜 어떤 사람은 결과가 안정적이고 어떤 사람은 엉망인가. 개발자 커뮤니티에서 공유된 경험은 그 차이가 모델이 아니라 실행 방식과 검증 구조에서 온다는 것을 보여준다.
두 가지 축이 있다. 하나는 긴 작업을 어떤 모드로 돌리느냐(세션 대 봇), 다른 하나는 상위 모델의 출력을 어떤 절차로 검증하느냐(하네스)다. 이 둘을 분리해서 이해하면 도구 선택과 운영 방식을 독립적으로 개선할 수 있다.
2. 세션 모드와 봇 모드 — 긴 작업은 어디서 돌리나
커뮤니티에서 검증된 결론은 명확하다. 긴 작업은 세션 모드가 안정적이다. 세션 모드는 대화 맥락이 유지되면서 중간 확인과 수정이 자연스럽게 이뤄진다. 반면 봇 모드는 짧은 요청·즉답 처리에 적합하지만, 다단계 작업을 맡기면 흐름이 끊기고 앞서 만든 맥락을 다시 설명해야 하는 상황이 생긴다.
판단 기준은 작업의 단계 수다. 한두 번의 왕복으로 끝나는 요청이면 봇 모드가 효율적이다. 열 단계 이상 이어지는 작업 — 리팩터링, 보고서 작성, 다중 파일 수정 — 이라면 세션을 열고 중간 산출물을 확인하며 진행하는 것이 실패율을 낮춘다.
3. 하네스 — 상위 모델일수록 필요한 검증 구조
루나 맥스처럼 강력한 상위 모델을 쓸 때 실무자들이 공유한 노하우는 역설적이다. 모델이 똑똑할수록 환각도 그럴듯해진다는 것. 그래서 정해진 답이 아니라 검증 구조(하네스)를 먼저 걸어둔다.
- 작업 지시서를 중간 모델이 먼저 짠다 — 상위 모델에 바로 시키지 않고, 테라 맥스급 중간 모델로 상세한 작업 지시서를 먼저 생성시킨 뒤 그 지시서를 상위 모델에 넘긴다. 지시의 모호함이 결과 오차로 전파되는 것을 줄인다.
- 피드백 루프를 건다 — 실행 → 검증 → 수정의 사이클을 사람이 끝점에서 확인한다. 자동 반복에 맡기면 같은 오류를 그럴듯한 형태로 반복한다.
- 완료 체크리스트를 시스템 프롬프트에 명시한다 — "다 했다"의 기준을 문서로 정해두면, 모델이 스스로 완료 여부를 점검하고 누락을 보고한다.
4. 역할 배분과 복잡도 관리
작업 중 모델을 교체해야 할 때도 같은 논리가 적용된다. 한 모델에 맡긴 작업을 다른 모델에 "이어서" 시키는 것보다, 계획은 계획 모델, 구현은 구현 모델처럼 역할을 분담하는 것이 품질 유지에 유리하다는 경험이 공유됐다. 이어서 시키기는 맥락 손실과 해석 차이를 물고 온다.
왜 이어서가 실패하는지는 대화 구조를 보면 알 수 있다. 모델의 응답은 지시문만이 아니라 그동안 쌓인 대화 전체에 맞춰 생성된다. 다른 모델에게 "위 작업을 이어서"라고 넘기면, 새 모델은 앞 대화를 읽긴 하지만 그 안에서 중요한 것과 사소한 것을 원 모델과 다르게 가중치 매긴다. 결과는 대체로 방향은 비슷한데 디테일이 어긋난 산출물이다. 이 어긋남이 누적되는 것이 긴 작업이다.
역할 분담이 이 문제를 푸는 방식은 문서를 매개로 둔다는 것이다. 계획 모델은 산출물을 "지시서"라는 문서로 남기고, 구현 모델은 대화가 아니라 그 문서를 읽는다. 문서는 대화보다 안정된 매개체다 — 필요 없는 맥락이 줄고, 검토 지점이 명시된다.
에이전트 프로젝트에서는 복잡도 관리가 추가된다. 프로덕션 요구사항이 붙는 순간 코드가 지나치게 비대해지고 지시 위반이 생기는 상황은 드물지 않다. 이때의 처방도 구조적이다 — 계획적 접근을 먼저 하고, 테스트로 확인하며, 환각을 모델의 인격 탓으로 돌리지 않고 검증 절차의 문제로 다룬다.
복잡도가 폭발하는 전형적인 경로를 보면 공통점이 있다. 처음에는 간단했던 도구가 요구사항이 붙을 때마다 기능이 더해지다가, 어느 순간 모델이 전체 구조를 한 번에 파악하지 못한다. 그러면 부분 수정이 다른 부분을 깨는 회귀가 잦아지고, 수정할수록 상태가 나빠지는 구간이 온다. 이 지점에서 해야 할 일은 새 기능 추가가 아니라 구조 분해다 — 도구를 책임 단위로 나누고, 각 부분이 독립적으로 테스트 가능하게 만든다. 사람 개발자와 똑같은 원리다.
요구사항 문서의 역할도 여기서 커진다. "이런 기능도 있으면 좋겠다"는 대화로 전달된 요구는 구현이 흩어진다. 요구사항을 번호가 붙은 문서로 옮기고, 각 항목의 완료 기준을 정해 두면, 모델은 물론이고 검토하는 사람도 같은 기준으로 진행 상황을 볼 수 있다.
5. 팀에 적용하는 순서
세션 관리에는 실용적인 팁이 하나 더 있다. 세션은 길어질수록 초기 맥락이 희석되므로, 중요한 결정이 나온 시점에 요약을 세션 안에 명시적으로 남겨둔다. "지금까지 결정된 것: A 방식 채택, B는 기각, 사유는 OO"과 같은 정리 문장이다. 이 습관은 세션을 나눠야 할 때 인계 문서의 역할도 겸한다.
- 작업 유형별로 세션/봇 모드 기본값을 정한다. 회사 표준으로 문서화하면 새 구성원의 시행착오가 줄어든다.
- 반복되는 긴 작업에는 하네스 템플릿(지시서 양식·완료 체크리스트)을 만들어 둔다.
- 모델 교체가 필요할 때는 "이어서" 대신 역할 재분담으로 전환한다.
- 실패한 작업은 모델 탓이 아니라 어느 검증 지점이 비어 있었는지 추적한다.
하네스 없이 돌렸을 때 생기는 일
구조의 가치는 실패 사례에서 더 명확해진다. 프로덕션 요구사항이 추가된 에이전트 프로젝트에서 코드가 지나치게 복잡해지고 지시를 위반하는 결과가 나온 사례가 공유됐다. 이때 흔한 반응은 "이 모델이 안 좋다" 또는 "프롬프트가 부족하다"다. 그런데 같은 사례를 구조로 다시 보면 빈 지점이 보인다 — 요구사항을 문서화한 지시서가 없었고, 완료 기준이 명시되지 않았고, 중간 검증이 사람 손을 거치지 않았다.
환각도 마찬가지다. 모델이 자신감 있게 틀린 사실을 내놓는 것을 모델의 성격 탓으로 돌리면 대응이 "다른 모델로 갈아타기"로 끝난다. 검증 절차의 빈 자리로 보면 "어느 지점에서 원문 대조가 빠졌는가"라는 개선 가능한 질문이 된다. 하네스는 후자의 관점을 표준화한 것이다.
운영 표준이 쌓이면 팀의 학습 곡선도 바뀐다. 새 구성원이 "어떤 모델을 쓰지"부터 질문하는 팀과, "이 작업은 세션 열고 지시서 양식 2번 채워서 넣어"라고 대답할 수 있는 팀의 격차는 몇 주 만에 벌어진다. 전자는 매번 같은 시행착오를 반복하고, 후자는 표준 위에서 개선만 축적한다.
도구와 모델은 계속 바뀐다. 세션 관리, 지시서 설계, 검증 루프라는 구조는 바뀌지 않는다. 그래서 이 구조에 투자하는 것이 모델 선택보다 오래간다.
복사해서 쓰는 검증 하네스용 기본 지시문
아래 결과물을 그대로 출력하지 말고, 각 단계가 끝날 때마다 확인 결과를 한 줄로 보고하세요. 확인 기준: 1) 파일이 실제로 변경되었는가 2) 변경 내용이 지시와 일치하는가 3) 되돌릴 방법이 있는가 셋 중 하나라도 아니면 중단하고 이유를 보고하세요.
출처 및 확인 기준
- Anthropic — Claude Code 비용·사용량 문서 — 모드별 사용량 관리 공식 안내
- OpenAI — 에이전트 가이드 — 에이전트 실행 구조 공식 문서
- Anthropic Engineering 블로그 — 검증 루프 설계 참고 자료