[AI/RAG] LLM 벡터 DB 구축 시 Markdown 포맷이 표준으로 자리 잡은 이유

기업용 AI 서비스 및 검색 증강 생성(RAG, Retrieval-Augmented Generation) 파이프라인을 구축할 때 가장 먼저 마주하는 난제는 바로 사내 사설 문서(HWP, PDF, DOCX 등)를 어떻게 임베딩 벡터 DB(Vector DB)에 저장할 것인가입니다.

과거에는 문서에서 단순 플레인 텍스트(Plain Text)를 추출하거나 HTML 노드를 파싱하는 방식이 흔했으나, 최근 글로벌 Enterprise RAG 분야에서는 문서를 마크다운(Markdown) 포맷으로 1차 정문화(Normalization)한 후 인덱싱하는 방식이 절대적인 글로벌 표준으로 자리 잡았습니다.

그 주요 원인 3가지를 분석합니다.

1. 세맨틱 청킹(Semantic Chunking) 및 서식 위계 보존

LLM 임베딩 모델(예: OpenAI text-embedding-3, Cohere Embed 등)에 데이터를 밀어 넣을 때 문서를 적절한 토큰 길이로 나누는 청킹(Chunking) 작업이 필수적입니다.

• 단순 텍스트 방식: 문단 구분이나 제목 서식이 사라져 문맥이 뚝 잘리는 단점이 있습니다.
• 마크다운 방식: #, ##, ### 헤더 문법을 기준으로 문서의 장(Section), 절(Subsection) 단위로 의미적(Semantic) 청킹을 손쉽게 수행할 수 있습니다. LLM은 문서 내 헤더 계층 구조를 이해하여 훨씬 높은 관련성(Relevance) 점수의 검색 결과를 반환합니다.

2. 표(Table) 데이터의 의미 구조 유지

엔터프라이즈 사내 문서의 60% 이상은 수치나 규정이 정리된 표(Table) 형태입니다.

• 단순 텍스트로 추출하면 표의 행과 열 구분이 사라지고 텍스트가 1차원으로 나열되어 의미가 왜곡됩니다.
• 마크다운 Table 문법(| Header1 | Header2 |)은 행과 열의 2차원 연관 관계를 경량화된 형태(Textual Table)로 유지하므로, LLM이 표의 셀(Cell) 데이터 간 상호작용을 완벽히 이해하고 대답할 수 있습니다.

3. 토큰 효율성 및 노이즈 제거

HTML 문법으로 변환할 경우 <div class="...">, <span style="..."> 등 불필요한 DOM 스타일 태그가 방대한 토큰을 낭비하게 만듭니다. 반면 마크다운은 **최소한의 가벼운 구문(Syntax)**으로 구조적 맥락을 전달하므로, 상당한 수준의 LLM 토큰 비용 절감이 가능합니다.

결론: HWP/HWPX 문서의 마크다운 자동 변환 파이프라인

사내에 쌓여 있는 HWP/HWPX 전자결재 및 공공 문서들을 LLM RAG용 마크다운 데이터셋으로 전환하고 싶다면, MDChange의 정밀 파싱 API를 도입해 보세요.