AI OPERATIONS · MULTI-MODEL REVIEW

AI가 쓴 문서를 다른 AI가 검토할 때 누락이 줄어든다법령 해설·기술 가이드라인을 위한 멀티모델 검증 구조

법령 해설문이나 기술 가이드라인처럼 틀리면 안 되는 문서를 AI에 맞길 때 가장 흔한 실패는 모델 성능이 아니라 구조다. 한 모델이 쓰고 같은 모델이 확인하는 자기 검증 구조에서는 작성 과정에서 생긴 오해가 검토 단계에서도 그대로 통과된다. 글쓰기와 검증을 서로 다른 세션, 다른 모델에 맡기는 이유가 여기에 있다.

작성일 2026-08-28카테고리 AI·업무운영자료 Anthropic·Claude Code·OpenAI 공식 문서 · 국가법령정보센터성격 실무 적용 기준

먼저 결론

  • 문서 품질은 어떤 모델을 쓰느냐보다 작성·검토·확정을 어떻게 분리했는가에서 갈린다.한 모델의 자기 검증은 같은 오해를 공유한 채 통과시키기 쉽다.
  • 실무 기본형은 세 역할 분리다. 작성 모델(초본 생성), 검토 모델(별도 세션에서 누락·오류·모순 지적), 담당자(법령 원문·적용 판단 최종 확정).
  • 검증 지점은 다섯 곳이면 충분하다: 조문 존재·번호, 날짜, 용어 일관성, 논리 충돌, 누락 항목. 검토 보고를 그대로 본문에 반영하지 말고 사람이 원문으로 재확인한 뒤 반영한다.
작성 모델 초본 생성 — 구조·초기 내용 같은 세션에서 자기 검증 별도 세션으로 검토 모델 누락·오류·모순 지적 결이 다른 시각으로 대조 지적 목록 담당자 — 확정 법령 원문·공식 출처로 재확인 후 반영 다섯 지점만 짚는다 조문 존재·번호 · 날짜 · 용어 일관성 · 논리 충돌 · 누락 항목 검토 보고는 그대로 본문에 넣지 않는다 — 사람이 원문으로 재확인한 뒤 반영한다 한 모델의 자기 검증은 같은 오해를 공유한 채 통과시키기 쉽다작성·검토·확정의 세 역할 분리가 누락을 줄이는 구조적 답이다
그림 1 — 작성·검토·확정의 세 역할 분리. 검토 모델은 별도 세션에서 열리고, 반영 여부는 사람이 원문 확인 후 결정한다.

1. 왜 모델 하나로 쓰고 검토하면 안전하지 않은가

AI로 법령 해설문이나 기술 가이드라인을 쓸 때 흔한 방식은 한 대화 창에서 “이렇게 써줘”라고 요청하고, 이어서 “빠진 부분 없는지 확인해줘”라고 덧붙이는 것이다. 편하지만 이 구조에는 구조적 약점이 있다. 쓰는 순간 이미 들어간 오해·빠뜨린 전제·잘못 본 조문을 같은 대화의 AI는 대부분 그대로 유지한다. 자신이 방금 만든 문장을 나쁘다고 판정할 유인이 약하기 때문이다.

사람에게도 똑같은 현상이 있다. 본인이 쓴 보고서를 본인이 검토하면 빠진 항목을 잘 못 찾는다. 그래서 실무에서는 작성자와 검토자를 나눈다. AI 문서 작업도 같은 원리로 접근할 수 있다. 작성한 모델과 다른 모델, 또는 같은 모델이라도 본문을 모르는 새 세션에 검토를 맡기면 결과가 달라진다.

공식 문서에서도 이 방향이 확인된다. Anthropic은 에이전트 설계 문서에서 실행자와 평가자를 나누는 평가자-최적화자(evaluator-optimizer) 패턴을 대표적인 구성 블록으로 소개하고, 멀티 에이전트 연구 시스템 글에서는 검토·인용 검사를 담당하는 하위 에이전트를 둬서 성실성을 높였다고 정리했다. Claude Code 공식 문서에도 별도 컨텍스트를 쓰는 하위 에이전트가 안내돼 있다. 개발 현장에서 검증자 분리가 표준처럼 자리 잡은 것과 같은 흐름이 문서 작성에도 적용되는 셈이다.

2. 핵심 원리 — 결이 다른 두 가지 검증을 분리한다

멀티모델 검토를 이야기하면 “어떤 모델이 더 똑똑한가”부터 묻기 쉽다. 그런데 문서 품질을 좌우하는 검증은 결이 다른 두 층으로 나뉘어 있고, 둘은 서로 대체되지 않는다.

첫째는 일관성 검증이다. 용어가 앞뒤로 같은지, 숫자와 날짜가 문서 안에서 충돌하지 않는지, 앞 장에서 둔 기준을 뒤 장이 어기지 않는지 확인하는 작업이다. 대조와 대조표 만들기에 강한 모델이 유리하다. 대화 흐름이 없는 새 세션에서 문서만 놓고 검토해도 잘 작동하는 영역이다.

둘째는 사실 검증이다. 인용한 조문이 실제로 존재하고 번호가 맞는지, 시행일이 현재 유효한지, 기술 사양이 공식 규격과 일치하는지 확인하는 작업이다. 이 층은 모델을 바꾼다고 저절로 해결되지 않는다. 어떤 생성형 모델도 확신 있게 그럴듯한 조문을 만들어낼 수 있으므로, 최종 판정은 반드시 원문 대조를 거쳐야 한다. 국가법령정보센터처럼 법령 원문을 공식적으로 제공하는 경로와, 제조사 규격서·표준 문서 원문이 기준이 된다.

추천 방식: 검토는 “이 문서 어때?”라는 막연한 요청이 아니라 “조문 번호와 시행일을 원문과 대조하라”, “챕터 3과 챕터 7이 같은 조건을 다르게 서술하고 있는지 찾아라”처럼 확인 항목을 지정해 맡긴다. 막연한 요청에는 막연한 “전반적으로 좋습니다”가 돌아온다.

3. 역할 배분 — 작성·검토·확정을 나눠 잡는다

실무에서 안정적으로 작동하는 기본형은 세 역할 분리다. 각 역할이 어떤 도구를 쓰느냐는 상황에 따라 달라도, 역할 자체가 섞이지 않는 것이 핵심이다.

DRAFTER

작성 모델

초본 생성을 담당한다. 긴 문서 안에서 문체와 구조를 일관되게 유지하는 능력이 중요하다. 작성에 강한 모델 하나를 정해 문체를 고정하는 편이 결과가 안정적이다.

REVIEWER

검토 모델

작성 모델과 다른 모델, 또는 같은 모델이라도 본문을 모르는 새 세션이 맡는다. 요청문만 받고 누락·오류·모순 지적 목록을 만들게 한다. 문서를 다시 쓰는 역할은 주지 않는다.

FINAL APPROVER

담당자

검토 목록의 지적이 사실인지 원문으로 재확인하고 반영 여부를 정한다. 특히 법령 조문·적용 범위 같은 판단은 문서 밖 정보가 필요하므로 사람 확정 단계를 거친다.

역할을 나누는 이유는 검토의 독립성 때문이다. 같은 대화 창에서 이어진 검토는 결국 작성 맥락을 공유한 자기 검증이고, 지적이 나와도 본문을 고칠 유인이 작동해 문장을 다듬는 수준에서 끝나기 쉽다. 검토 세션이 본문을 모르는 상태에서 요청문만으로 판정할 때 비로소 “이 문장은 근거가 없다”, “이 항목은 전제 없이 결론만 있다” 같은 지적이 나온다. 흥미로운 점은 검토를 잘하는 모델과 글을 잘 쓰는 모델이 항상 같지 않다는 것이다. 그래서 실무에서는 두 역할에 서로 다른 모델을 배정하는 조합이 자연스럽게 생긴다.

문서 유형작성 단계 강조점검토 단계 강조점
법령 해설문조문 구조를 먼저 잡고 각 조문의 요지를 문장으로 확정한다. 해석은 근거 조문과 구분해 표기한다.조문 번호·시행일 원문 대조, 개정 이력 확인, “~된다”식 단정 문장의 근거 확인이 중심이다.
기술 가이드라인절차 순서와 전제 조건을 번호로 묶는다. 버전·규격 번호를 자리 표시자로 남긴다.절차 순서 누락, 조건 충돌, 규격 수치의 원문 대조가 중심이다.
내부 매뉴얼독자 입장에서 실행 순서대로 쓴다. 화면·메뉴 이름을 실제 명칭으로 맞춘다.실행 가능성 확인, 최신 화면 구조와의 차이 점검이 중심이다.

4. 검토는 다섯 지점만 짚는다

검토 요청이 지나치게 넓으면 보고는 길어지고 지적은 흐려진다. 반대로 다음 다섯 지점으로 좁히면 지적이 실무적으로 나온다. 실무 표준으로 쓸 수 있는 기본 세트다.

STEP 1범위 확정대상 법령·규격·버전과 기준일을 먼저 고정한다.
STEP 2초본 생성작성 모델에 구조·문체·길이 기준을 주고 1차 문서를 만든다.
STEP 3독립 검토다른 모델·새 세션에 다섯 지점 점검을 맡겨 지적 목록을 받는다.
STEP 4원문 재확인지적 중 사실 판정이 필요한 항목은 원문 대조로 걸러낸다.
STEP 5반영·기록확정된 수정만 반영하고 판단 근거를 남긴 뒤 마무리한다.

다섯 지점의 내용은 이렇다. 조문·번호 존재는 인용한 조문이 실제 존재하고 번호·항까지 정확한지를 본다. 날짜·기준일은 시행일·개정일·기준일이 문서 전체에서 하나로 통일되어 있는지를 본다. 용어 일관성은 같은 대상을 가리키는 표현이 문서 앞뒤로 같은지, 정의 없이 쓰는 전문용어는 없는지를 본다. 논리 충돌은 앞 장의 전제를 뒤 장이 어기지 않는지, 조건과 결론이 어긋나지 않는지를 본다. 누락 항목은 다뤄야 할 주제가 빠졌는지를 목차 단위로 본다.

추천 방식: 검토 모델에게는 “문서를 고쳐 쓰지 말고 지적 목록만 만들어라”라고 역할을 제한한다. 검토자가 본문을 직접 고치기 시작하면 작성 모델의 문체가 흔들리고, 어떤 지적이 반영됐는지 추적이 어려워진다. 수정은 작성 모델 또는 담당자가 확정된 지적만 반영하는 구조가 깔끔하다.

6. 시작할 때는 짧은 문서부터

처음부터 수십 장짜리 가이드라인에 이 구조를 적용하면 검토 비용과 반복 횟수가 감당하기 어렵다. 다음 순서로 범위를 점점 넓히는 편이 실패가 적다.

  • 1단계 — 대상을 좁힌다. 2~3개 조문으로 묶인 짧은 해설문 한 편, 또는 절차 5개 안팎의 가이드 한 부로 시작한다.
  • 2단계 — 검증 지점을 문서로 고정한다. 다섯 지점 점검 표를 양식으로 만들어 두면 이후 문서에 재사용할 수 있다.
  • 3단계 — 검토 조합을 기록한다. 어떤 모델이 작성하고 어떤 모델이 검토했는지, 어떤 지적이 원문 확인 끝에 반영됐는지 남긴다. 조합의 강점이 눈에 보이기 시작한다.
  • 4단계 — 범위를 넓힌다. 안정되면 장문 가이드라인, 사내 표준, 인허가 절차서처럼 실제 업무 문서로 확장한다.
  • 5단계 — 확인 경로를 표준화한다. 자주 쓰는 원문 출처 목록을 문서 머리에 두고, 기준일과 함께 표기하는 습관을 붙인다.

비용 관점에서도 이 구조는 유리하다. 작성 모델에 장문 생성을 맡기되, 검토 모델은 지적 목록만 만들면 되므로 상대적으로 가볍다. 반복이 늘어도 검토 단위가 짧아 전체 비용이 폭증하지 않는다. 처음부터 완벽한 자동화를 만들기보다, 이 정도 구조만 있어도 “AI가 썼는데 뭔가 빠진 것 같다”는 불안을 확인 가능한 점검표로 바꿀 수 있다.

한 줄로 정리하면, AI 문서의 품질은 모델 하나의 성능이 아니라 작성·검토·확정의 경계를 얼마나 명확히 나눴는가에서 결정된다.

다음에 확인할 체크리스트

  • 역할 분리: 작성 모델과 검토 모델(세션)이 분리되어 있는가.
  • 검증 지점: 조문·번호, 날짜, 용어, 논리, 누락 다섯 지점이 지정되어 있는가.
  • 원문 대조: 사실 판정은 모델 보고가 아니라 원문 확인을 거쳤는가.
  • 반영 기록: 어떤 지적이 반영됐고 근거가 무엇인지 남아 있는가.
  • 확정 주체: 최종 판단·법적 확인은 사람이 수행하고 있는가.

출처 및 확인 기준

이 글은 AI 문서 작성 방식을 정리한 일반 정보입니다. 특정 모델·서비스 도입을 권유하는 글이 아니며, 법률 자문을 제공하는 글도 아닙니다. 법적 효력이 닿는 문서는 관련 전문가의 확인을 거쳐 확정해야 합니다.

방문통계는 공개 배포 후 집계됩니다.