AI 도입은 늘었는데 성과가 안 나는 이유 — 문제는 데이터 준비도다
기업이 생성형 AI를 도입하는 속도는 빨라졌지만, 경쟁력은 모델보다 데이터 준비도에서 갈린다. RAG를 붙이는 것보다 먼저 해야 할 일은 문서·표·이미지·권한·메타데이터를 AI가 읽을 수 있는 상태로 만드는 것이다.
1. AI 도입률은 높아졌지만 성과 병목은 데이터다
ComWorld 커버스토리는 기업 AI의 현주소를 “도입은 늘었는데 경쟁력은 제자리”로 요약했다. 핵심 논지는 단순하다. 기업들이 AI 인프라와 모델에는 빠르게 투자하고 있지만, 정작 AI가 참조해야 할 데이터는 흩어져 있고, 오래됐고, 권한 체계가 복잡하며, 문서 구조도 깨져 있다는 것이다.
AI가 답을 못 하는 이유를 모델 탓으로만 돌리면 문제를 잘못 잡는다. 모델이 아무리 좋아도 입력 문서의 읽기 순서가 뒤섞이고, 표의 행·열 관계가 무너지고, 버전이 다른 문서가 섞이면 결과는 불안정해진다. 기업 AI 프로젝트의 ROI가 낮게 나오는 이유는 모델의 부족보다 데이터 준비도의 부족일 때가 많다.
2. 고품질 데이터는 왜 갑자기 전략 자산이 됐나
Epoch AI는 인간이 생성한 공개 텍스트 데이터가 언젠가 LLM 학습의 병목이 될 수 있다고 분석했다. 기사에서는 활용 가능한 인간 생성 공공 텍스트를 약 300조 토큰 수준으로 언급하며, 학습 데이터 사용량 증가 속도가 유지될 경우 2030년대 초반 한계가 올 수 있다는 전망을 소개했다.
이 전망이 바로 기업 실무와 연결되는 이유는 분명하다. 공개 웹 데이터와 범용 모델만으로 차별화하기 어려워질수록, 기업 내부의 문서·상담 기록·설계서·계약서·정비 이력·품질 데이터 같은 도메인 데이터의 가치가 커진다. 앞으로의 AI 경쟁력은 “남들도 쓰는 모델”이 아니라 “내 회사만 가진 데이터를 얼마나 AI가 읽기 좋게 만들었는가”에서 나온다.
3. 합성 데이터는 보완재이지 만능 해법은 아니다
데이터 부족의 대안으로 합성 데이터가 주목받고 있다. 실제 데이터와 유사한 구조를 만들 수 있고, 드문 상황이나 위험 사례를 빠르게 확보할 수 있기 때문이다. 그러나 기사에서 지적하듯 합성 데이터는 표현 다양성 부족, 오류 누적, 모델 붕괴 위험을 함께 갖는다.
기업 실무에서는 합성 데이터를 “원천 데이터 대체재”로 보기보다 “부족한 케이스를 보완하는 재료”로 보는 편이 안전하다. 특히 금융, 법률, 의료, 제조 품질, 환경평가처럼 오류 비용이 큰 영역에서는 사람이 만든 고품질 데이터와 전문가 검토 루프가 빠지면 위험하다.
4. RAG가 실패하는 진짜 이유: 검색 이전에 문서가 깨져 있다
많은 기업이 RAG를 붙이면 환각이 줄어들 것이라고 기대한다. 하지만 RAG는 좋은 문서를 찾아 모델에 전달하는 구조다. 정작 문서가 AI가 읽기 어려운 상태라면 검색 기술만 정교해져도 답변 품질은 크게 나아지지 않는다.
기업 문서는 PDF, 스캔본, 표, 이미지, 각주, 다단 레이아웃, 첨부파일, 오래된 버전이 뒤섞인 형태로 존재한다. 단순 텍스트 추출만으로는 제목과 본문 관계, 표의 행·열, 각주의 적용 범위, 이미지 안의 의미가 사라진다. RAG의 성패는 벡터DB 이전에 문서 이해와 구조화 레이어에서 결정된다.
5. AI-레디 데이터의 3단계: 정렬·거버넌스·검증
Gartner가 언급한 생성형 AI 데이터 준비의 핵심도 비슷하다. 데이터는 비즈니스 문제와 정렬돼야 하고, 보안·권한·품질 거버넌스가 적용돼야 하며, 실제 업무 성과를 설명할 수 있는 평가 체계로 검증돼야 한다.
6. 한국 기업에 더 중요한 이유: 문서와 언어의 특수성
한국 기업의 데이터는 한글 문서, 스캔 PDF, 공문서 양식, 계약서, 견적서, 신청서, 도면, 표가 섞여 있는 경우가 많다. 영어 중심 데이터로 학습된 범용 모델이 이 문맥을 완벽히 이해한다고 가정하기 어렵다. 저자원 언어와 산업별 전문 용어는 별도 데이터 구축과 정제가 필요하다.
기사에서 플리토 사례가 언급된 것도 이 맥락이다. 단순 번역 데이터가 아니라 언어 확인, 개인정보 제거, 중복 제거, 사실성 검증, 성별 편향 조정 등 정제 파이프라인이 붙어야 학습 데이터로 의미가 생긴다. 한국어 업무 AI의 경쟁력은 한국어 문서와 산업 문맥을 얼마나 잘 구조화했는가에 달려 있다.
7. 투자·사업 관점에서 볼 체크포인트
| 체크포인트 | 좋은 신호 | 위험 신호 |
|---|---|---|
| 문서 구조화 | 표·이미지·레이아웃·읽기 순서를 복원하는 파이프라인 보유 | 단순 텍스트 추출이나 파일 업로드 수준에 머무름 |
| 데이터 거버넌스 | 권한, 버전, 민감정보, 출처 관리가 자동화됨 | AI가 참조한 문서의 출처와 최신성을 설명하지 못함 |
| 평가 데이터셋 | 도메인 전문가가 만든 질문·정답·실패 케이스 보유 | 데모 답변 몇 개로 성능을 판단함 |
| 현업 피드백 | 오답 수정이 데이터셋과 운영 정책에 다시 반영됨 | 오답을 사람이 일회성으로 고치고 끝냄 |
8. 결론: AI 예산의 일부는 데이터 준비도로 옮겨야 한다
기업이 AI 경쟁력을 만들고 싶다면 모델 도입 예산만 볼 것이 아니라 데이터 준비도 예산을 따로 잡아야 한다. 문서 구조화, 데이터 정제, 권한 체계, 평가 데이터셋, 도메인 전문가 검토는 겉으로 화려하지 않지만 AI 성과를 좌우하는 기반이다.
AI 프로젝트의 질문은 “어떤 모델을 붙일까”에서 “우리 데이터가 모델이 읽고 검증할 수 있는 상태인가”로 바뀌어야 한다. 이 전환을 빨리 하는 기업은 같은 모델을 쓰더라도 더 정확한 답, 더 낮은 운영 리스크, 더 빠른 업무 자동화 성과를 얻을 가능성이 높다.
9. 실행 로드맵: 작게 시작하되 운영 기준은 처음부터 잡는다
AI-레디 데이터 전환은 전사 데이터 호수부터 새로 짓는 거대한 프로젝트로 시작할 필요가 없다. 오히려 첫 단계는 반복 질문이 많고, 문서 출처가 비교적 분명하며, 오답 비용을 측정할 수 있는 업무 하나를 고르는 편이 낫다. 예를 들어 영업 제안서 검색, 계약 검토 보조, 품질 이슈 이력 조회, 환경평가 보고서 참조, 고객 상담 매뉴얼 응답처럼 질문·문서·정답 후보가 비교적 뚜렷한 영역이 출발점이 될 수 있다.
이때 중요한 것은 PoC를 “답변이 그럴듯한지”로만 끝내지 않는 것이다. 어떤 문서를 참조했는지, 최신 문서가 우선됐는지, 권한이 없는 문서는 배제됐는지, 표와 첨부 이미지가 올바르게 해석됐는지, 현업 담당자가 틀렸다고 표시한 답이 다음 배포에서 줄어드는지를 같이 봐야 한다. 작은 업무에서라도 출처·권한·평가·수정 루프를 갖춘 AI가 결국 확장 가능한 AI다.
10. 경영진이 물어야 할 질문
우리 RAG가 검색한 문서의 버전, 권한, 표 구조, 이미지 정보를 설명할 수 있는가? 답변 실패 사례가 평가 데이터셋으로 축적되고 있는가?
AI가 틀렸을 때 누가 어떤 기준으로 바로잡는가? 자주 틀리는 업무 문서는 구조화 대상 목록에 올라가 있는가?
따라서 이 주제는 AI 소프트웨어 구매 문제가 아니라 운영체계 재설계 문제에 가깝다. 데이터 소유자, 보안 담당자, 현업 검토자, AI 운영자가 같은 품질 기준을 공유해야 실제 성과가 난다.
AI 예산을 승인할 때도 모델 비용만 볼 일이 아니다. 문서 파싱, 메타데이터 정리, 권한 정책, 평가 데이터셋, 현업 검토 시간이 함께 예산화돼야 한다. 이 항목이 빠진 AI 프로젝트는 초기 데모는 빠를 수 있지만 실제 업무 적용 단계에서 다시 막힐 가능성이 높다.