행안부 '공공부문 AI 도입·활용 가이드'로 보는, 공공 RAG 프로젝트가 놓치기 쉬운 문서 전처리 단계
가이드가 말하는 것: RAG는 이제 '선택'이 아니라 '표준 전략'
행정안전부는 2026년 6월 10일 「공공부문 AI 도입·활용 가이드」를 배포했습니다. 전국 공공기관·중앙부처·지방정부 담당자는 물론 이들과 함께 일하는 민간 AI 사업자까지 대상으로 하며, 기획 → 예산 → 계약 → 구축 → 운영으로 이어지는 5단계를 실무 중심으로 표준화한 것이 특징입니다.
이 가이드에서 특히 눈에 띄는 부분은 검색 증강 생성(RAG)을 명시적으로 권장 기술로 못박았다는 점입니다. 보도에 따르면 가이드의 핵심 메시지는 "AI가 기관 내부의 정확한 최신 문서를 먼저 찾아보고 답변하게 만드는" 방식, 즉 범용 LLM이 아니라 기관 고유의 문서에 기반해 답하는 구조를 표준으로 삼는다는 것입니다. 여기에 더해 개별 기관의 중복 인프라 구축을 막기 위한 '범정부 AI 공통기반' 우선 이용도 함께 규정하고 있습니다. 2026년 8월 28일 시행되는 AI 기본법 개정에 선제 대응하는 성격도 있습니다.
방향 자체는 명확합니다. "기관마다 GPU와 모델을 따로 살 필요 없이 공통기반을 쓰고, 그 위에서 우리 기관의 진짜 문서를 검색해서 답하게 하라"는 것입니다.
가이드에서 상대적으로 옅게 다뤄지는 지점: '정확한 최신 문서'는 저절로 만들어지지 않는다
여기서 실무자가 맞닥뜨리는 질문은 이것입니다. "기관 내부의 정확한 최신 문서"라는 표현은 문서가 이미 RAG가 소비할 수 있는 형태로 존재한다는 것을 전제로 합니다. 그러나 실제 공공기관의 문서 자산은:
- 상당수가 여전히 과거 HWP로 작성돼 있거나, 이제 막 HWPX로 전환되는 중이고
- 예산 총괄표, 평가 배점표처럼 표 구조 자체가 핵심 정보인 문서가 많으며
- 부서·연도별로 파편화되어 버전 관리가 느슨한 경우가 흔합니다
가이드가 강조하는 "정확한 최신 문서 기반 응답"은, 그 문서들을 RAG 파이프라인이 실제로 정확하게 읽어낼 수 있는 상태로 정제하는 전처리 단계가 선행되지 않으면 성립하지 않는 전제입니다. 표가 깨진 채로, 혹은 최신 버전인지 확인이 안 된 채로 벡터 DB에 들어간 문서는 "정확한 최신 문서"가 아니라 "그럴듯해 보이는 오답의 근거"가 됩니다.
5단계 구축 프로세스에 전처리를 끼워 넣는다면
가이드가 제시하는 기획 → 예산 → 계약 → 구축 → 운영 흐름에 문서 전처리를 명시적으로 넣는다면 이런 체크포인트가 필요합니다.
- 기획 단계: 대상 문서군의 포맷 현황(HWP/HWPX 비중, 표 포함 문서 비율)을 먼저 실사한다
- 예산 단계: 문서 변환·정제 비용을 별도 항목으로 분리해 계상한다 — 모델·인프라 비용에 가려 누락되기 쉬운 항목입니다
- 계약 단계: 사업자에게 "텍스트 추출"이 아니라 "구조 보존 변환"을 명시적으로 요구한다 (표의 행렬 구조, 문서 계층, 출처 메타데이터 보존 여부)
- 구축 단계: 범정부 공통기반에 올리기 전, 변환된 문서 샘플을 실제로 검색해보고 표·수치가 원문과 일치하는지 검증한다
- 운영 단계: 신규 문서가 계속 유입되는 만큼, 전처리 파이프라인을 1회성 작업이 아니라 상시 운영 요소로 설계한다
결론
행안부 가이드는 "무엇을 해야 하는가"(RAG 기반 공통 인프라 활용)에 대한 방향을 제시하지만, "그 문서를 어떻게 AI가 읽을 수 있는 상태로 만드는가"는 각 기관과 사업자의 실행 몫으로 남아 있습니다. 공공 AI 프로젝트를 준비 중이라면, 가이드의 5단계 어디에도 명시적인 항목으로 잡혀 있지 않은 이 문서 전처리 단계를 예산과 일정에 먼저 반영해두는 것을 권장합니다.
참고 자료
- 행정안전부, 공공부문 AI 도입·활용 가이드 배포…"고품질 AI 행정 시대 앞당긴다" - ZDNet Korea
- 공공 AI 구축, 더 쉽고 빠르게 「공공부문 AI 도입·활용 가이드」 배포 - 행정안전부 보도자료
- 공공 AI 중복 구축 막는다… 행안부, '공통 인프라 활용 가이드' 배포 - 전자신문
가이드의 세부 조항 전문은 행정안전부 보도자료 원문을 기준으로 확인하시길 권장하며, 이 글은 공개된 보도 내용을 바탕으로 한 해석과 실무 제언입니다.