HWP RAG 전처리가 안 되는 이유 | 일반 파싱 도구의 한계 정리와 해결 방법

HANCOM 2026.08.14

공공기관·금융기관이 사내 LLM·RAG 시스템을 구축할 때 먼저 확인해야 할 것은 기존 HWP 문서의 전처리 방식입니다. 수십 년간 쌓인 공문서, 보고서, 제안서를 AI가 읽을 수 있는 구조화 데이터로 바꾸지 못하면 RAG가 참고할 지식 베이스도 제대로 만들기 어렵습니다.

HWP는 단순 텍스트 추출만으로 처리하기 어려운 포맷입니다. 표, 각주, 문단 계층 같은 구조가 함께 보존되어야 검색과 답변 품질도 안정적으로 유지될 수 있습니다. 이 글에서는 일반 파싱(Parsing) 도구가 HWP에서 왜 한계를 보이는지, 그리고 PDF 변환·HWPX 변환·원본 바이너리 직접 파싱 방식은 어떻게 다른지 정리합니다.

RAG 파이프라인에서 HWP 문서 전처리가 중요한 이유

공공기관 AI 도입과 HWP 포맷, 왜 전처리가 선결 과제일까

공공기관 AI 도입의 품질은 기존 HWP 문서를 얼마나 정확하게 구조화하느냐에서 달라질 수 있습니다. 행정·공공·금융 업무 지식의 상당 부분이 HWP 문서로 축적되어 있어, 이를 AI가 읽을 수 있는 구조화 데이터로 바꾸지 못하면 RAG가 참고할 지식 베이스도 충분히 만들기 어렵습니다.

HWP는 정부 공문서, 입찰 제안서, 법원 서류 등 국내 업무 환경에서 오랫동안 활용되어 온 문서 포맷입니다. 이 때문에 HWP 전처리에서는 단순 텍스트 추출을 넘어 표, 문단 계층, 각주 같은 구조 정보까지 함께 보존하는 것이 중요합니다.

정책도 이 과제를 앞당기고 있습니다. 기획재정부는 2026년 공공기관 경영평가에 ‘AI 활용·혁신’을 반영하기로 했고, 행정안전부는 온나라시스템 문서 첨부를 개방형 포맷(HWPX)으로 의무화했습니다. 다만 신규 문서가 HWPX로 생성되더라도 이미 축적된 HWP 문서는 여전히 남아 있기 때문에, 기존 문서를 AI 지식 자산으로 전환하는 전처리 수요는 계속 이어지고 있습니다.

실제 공공 프로젝트에서도 이러한 활용 사례가 나타나고 있습니다. 한컴 데이터 로더는 경기도교육청 AI 디지털플랫폼 구축 사업에서 학교 홈페이지 안내자료와 지침·법령 데이터를 AI가 학습할 수 있는 형태로 변환하는 데 활용됐습니다. 흩어져 있던 행정 문서를 구조화 데이터로 정리하면, 교직원이 내부 문서를 근거로 필요한 정보를 찾고 질의응답에 활용할 수 있는 기반을 만들 수 있습니다.

단순 텍스트 추출 HWP 파싱이 취약한 포맷 구조적 한계

CFB와 문서 구조 이해의 필요성

HWP는 일반 텍스트 추출 도구가 바로 본문을 읽기 어려운 구조를 가지고 있습니다. 파일 내부가 CFB(Compound File Binary, 복합 파일 이진 형식)를 기반으로 저장소(Storage)와 스트림(Stream)으로 나뉘어 있어, 문서의 구조를 먼저 이해해야만 데이터를 안정적으로 추출할 수 있기 때문입니다.

화면에 보이는 글자와 표가 하나의 평문 텍스트로 저장되어 있는 것도 아닙니다. 문서 정보, 본문, 표, 서식 정보가 각각의 스트림과 레코드 단위로 관리되기 때문에, HWP를 파싱하려면 먼저 CFB 내부의 Storage와 Stream 구조를 식별하고 본문 레코드를 순서대로 해석해야 텍스트와 문서 구조를 안정적으로 추출할 수 있습니다.

한컴테크의 HWP 포맷 파싱 분석에서도 문서 정보와 본문이 CFB 구조 안에 분산 저장되어 있으며, 암호화된 문서는 별도 처리 과정이 필요하다고 설명합니다. 이 구조를 제대로 해석하지 못하면 텍스트가 누락되거나 표, 문단, 서식 정보 같은 구조 데이터가 손실될 수 있습니다. 범용 파서가 HWP에서 안정적인 추출 결과를 내기 어려운 이유도 여기에 있습니다.

가변 데이터 레코드 파싱 과정에서의 정보 누락과 순서 뒤틀림

HWP 본문과 문서 정보는 길이가 제각각인 가변 레코드로 순차 저장됩니다. 그래서 전용 엔진이 레코드 헤더를 정확히 해석하지 못하면 스트림 포인터의 위치를 잘못 계산해 표 구조가 손상되거나 본문이 누락될 수 있습니다. 스트림 안의 데이터는 일정한 크기로 나뉘어 있지 않고, 각 정보가 길이가 다른 ‘레코드’ 단위로 줄지어 저장되기 때문입니다. 헤더를 정확히 읽어야 다음 데이터의 시작 위치를 알 수 있습니다.

각 레코드 헤더에는 레코드의 종류(Tag ID), 논리적 위계(Level), 데이터 길이(Size) 정보가 담겨 있습니다. 헤더를 읽는 바이트 순서나 길이·위계 정보를 한 칸이라도 잘못 해석하면, 다음 레코드의 시작 위치를 잘못 계산해 표의 셀 경계가 손상되거나 문단이 누락될 수 있습니다. 단순 텍스트 추출 도구가 HWP의 표를 자주 손상시키는 배경에는 가변 레코드 해석의 어려움이 있습니다.

*출처: 한컴테크, 「한/글 문서 파일 형식: Python을 통한 HWP 포맷 파싱하기 (2)」, 2025

HWP 한글 문서 파싱 문제 해결법

HWP 전처리 3가지 방식 비교

구분	변환 과정	구조·표 보존	RAG 적합도
PDF 변환	HWP → PDF → 파싱	변환 중 계층·표 손상 가능	청킹 경계 흐려짐
HWPX 변환	HWP → HWPX → 파싱	XML 구조 접근 용이	표준 데이터로 활용 가능
원본 직접 파싱	바이너리 구조 직접 해석	변환 손실 최소화	의미 단위 청킹에 유리

HWP 포맷 PDF 변환 방식의 장점과 한계

HWP를 PDF로 변환한 뒤 파싱하는 방식은 변환 이후 단계에서 범용 PDF 파서와 OCR 도구를 활용할 수 있다는 장점이 있습니다. PDF 처리 도구는 선택지가 많아 기존 문서 처리 파이프라인에 연결하기도 비교적 쉽습니다.

다만 이 방식은 HWP 원본을 PDF로 변환하는 과정이 추가됩니다. 이때 문단 계층, 줄바꿈, 표의 행·열 구조가 원본과 다르게 재배치될 수 있고, 다단 편집이나 병합 셀이 많은 한글 행정문서에서는 후속 파싱 결과가 불안정해질 가능성이 있습니다.

변환 과정에서 처리 시간도 늘어날 수 있습니다. 테스트에 따르면 HWPX에서 직접 추출할 때 9.5초가 걸린 작업이, PDF로 변환한 뒤 추출하는 방식에서는 150.3초로 약 15.8배 더 오래 걸린 것으로 나타났습니다.

*출처: 한컴테크, 「AX 시대를 위한 한글 문서: 오픈소스 생태계 현황 분석과 활성화 전략」, 2025

PDF는 문서의 논리 구조보다 화면에 보이는 배치 정보를 중심으로 다뤄지는 경우가 많기 때문에, RAG 전처리 관점에서는 읽기 순서와 표 구조를 다시 복원하는 작업이 추가로 필요할 수 있습니다.

개방형 문서 포맷(HWPX) 변환을 통한 데이터 표준화

HWP를 HWPX로 변환하는 방식은 기존 HWP 문서를 XML 기반 구조로 표준화해 처리할 수 있다는 점이 핵심입니다. HWPX는 ZIP 패키지 안에 XML 문서와 리소스를 담는 개방형 문서 포맷으로, HWP의 CFB 구조와 zlib 압축 스트림을 직접 해석하는 방식보다 텍스트와 메타데이터 구조에 접근하기 쉽습니다.

또한 HWPX는 기술 표준이 공개되어 있어 문서 내부 구조를 분석하고, 다른 시스템과 연동하기에 유리합니다. 다만 HWP를 HWPX로 변환하는 과정에서도 원본 서식과 표 구조가 의도대로 유지되는지 검증이 필요합니다. 대량 문서를 RAG 전처리에 활용하려면 변환 결과를 그대로 사용하는 것보다, 변환 후 구조와 텍스트 추출 품질을 함께 확인하는 과정이 중요합니다.

한컴에서는 HWP를 HWPX로 변환하는 변환기를 무료로 제공하며, 한 번에 30개 파일까지 변환할 수 있습니다.

HWP 원본 바이너리 직접 파싱으로 데이터 유지

HWP 원본 바이너리 직접 파싱은 PDF나 HWPX로 변환하는 중간 단계 없이 바이너리 파일 자체의 레코드·압축 구조를 해석해 텍스트와 표·계층을 그대로 추출하는 방식으로, 변환 단계에서 데이터 손실 가능성을 줄입니다. 변환 과정에서 발생하던 줄바꿈 오류나 표 구조 손상도 나타나지 않습니다.

RAG 전처리에서는 문서 구조를 얼마나 정확히 추출하느냐가 답변 품질에 영향을 줄 수 있습니다. 검색 단계에서 표의 행·열 관계나 문단 계층이 손실되면, LLM이 참고하는 근거 데이터의 맥락도 약해지기 때문입니다. 실제로 PDF 구조 인식을 강화한 RAG를 평가한 ChatDOC 연구에서는, 구조 인식 파서를 적용한 시스템이 베이스라인보다 약 47%의 질문에서 더 나은 답변을 냈고, 38%는 동등, 15%는 열세를 보였습니다.

이는 파싱 단계에서 구조 정보를 얼마나 정확하게 보존하느냐가 이후 검색과 답변 품질을 결정하는 중요한 요소임을 보여줍니다.

*이 연구는 HWP 직접 파싱을 다룬 것은 아니지만, 문서 구조 보존의 중요성을 보여주는 참고 자료입니다.

💡 HWP 원본 문서가 어떤 구조화 데이터로 변환되는지 확인할 수 있습니다.

👉 한컴 데이터 로더, 라이브 데모 사용하러 가기

한컴 데이터 로더를 통한 한글 문서 RAG 최적화

한컴 데이터 로더가 한글 문서 RAG 구축에 필요한 이유는, PDF 변환 단계를 거치지 않고 HWP·HWPX 원본을 직접 파싱해 변환 손실 없이 구조화 데이터로 전환하기 때문입니다.

원본 직접 파싱으로 변환 손실 제거

원본 직접 파싱은 변환 과정에서 발생할 수 있는 구조 손실을 줄이는 데 도움이 됩니다. PDF로 변환하는 과정에서 줄바꿈, 읽기 순서, 표의 행·열 관계가 원본과 다르게 재배치될 수 있지만, 원본 문서를 직접 분석하면 이러한 문제를 줄일 수 있습니다. 추출 결과는 JSON 등 구조화 데이터로 제공되어 RAG 전처리 단계에서 활용할 수 있습니다.

문서 구조 분석(DLA)과 표 구조 인식(TSR)으로 계층·표 보존

DLA(Document Layout Analysis, 문서 구조 분석)와 TSR(Table Structure Recognition, 표 구조 인식)은 문서의 의미 단위를 보존하는 데 중요한 역할을 합니다. DLA는 제목, 본문, 표, 이미지 등 문서 구성 요소를 구분하고 읽기 순서를 파악하는 데 활용됩니다. TSR은 테두리 없는 표, 병합 셀, 표 안의 표처럼 복잡한 표 구조의 행·열 관계를 복원해, RAG 검색 단계에서 숫자나 셀 값이 맥락 없이 분리되는 문제를 줄일 수 있습니다.

한컴피디아 연계로 RAG 검색·답변 생성까지

한컴 데이터 로더는 문서에서 텍스트, 표, 문단 계층 정보를 추출·파싱해 구조화 데이터로 전환합니다. 이후 한컴피디아는 해당 데이터를 수신해 청킹, 임베딩, 벡터DB 저장, RAG 검색·답변 생성 단계로 연결합니다. 즉, 한컴 데이터 로더는 문서 전처리를 담당하고, 한컴피디아는 검색과 답변 생성 단계를 담당합니다.

보안 요건이 높은 환경에서는 온프레미스 구축도 가능합니다. 한컴 데이터 로더는 컨테이너 기반 REST API 형태로 내부망에 구축할 수 있어, 문서를 외부 서버로 전송하기 어려운 공공·금융 환경에서도 검토할 수 있습니다. 실제로 한컴은 행정안전부 범정부 초거대 AI 공통 기반 구현 사업에 한컴 데이터 로더와 한컴피디아를 공급하며, 공공 문서 기반 RAG 구축 사례를 만들어가고 있습니다.

RAG 시스템 HWP 문서 처리 관련 자주 묻는 질문

HWP를 PDF로 변환하면 표 구조가 손실되는데 이게 RAG 성능에 영향을 주나요?

PDF 변환 단계에서 표가 이미지처럼 처리되거나 문단 계층이 평탄화되면 청킹 경계가 부정확해지고, 그 손실이 임베딩과 검색 단계까지 이어져 RAG 답변 품질을 저하시킵니다.

HWP나 HWPX 파일을 PDF로 안 거치고 바로 파싱할 수 있는 방법이 있나요?

HWP·HWPX 포맷 원천 기술을 갖춘 전용 파싱 엔진이 있으면 PDF 변환을 거치지 않고 바이너리·XML 구조를 직접 분석해 추출할 수 있습니다. 원본을 직접 읽으면 변환 단계가 없어 계층·표·서식이 그대로 보존되며, 한컴 데이터 로더가 이 원본 직접 파싱 방식을 쓰고 있습니다.

HWP 파일이 LangChain 같은 AI 프레임워크에서 지원이 안 되는데 어떻게 하나요?

LangChain에는 공식 표준 HWP 로더가 없어, 별도 파싱 파이프라인이나 전용 솔루션으로 먼저 구조화한 뒤 프레임워크에 연동하는 방식이 현실적입니다. 오픈소스인 pyhwpx는 Windows에 한/글이 설치된 환경에서만 동작하는 COM 자동화 방식이라, 리눅스 서버나 폐쇄망 환경에는 적합하지 않습니다.

🖥️한컴 데이터 로더

한컴 데이터 로더는 HWP·HWPX·PDF 문서를 AI가 활용할 수 있는 구조화 데이터로 전환하는 문서 파싱(Document Parsing) 솔루션입니다. OOXML 문서는 텍스트 추출 방식으로 처리하며, 추출·파싱된 데이터는 한컴피디아와 연계해 RAG 검색·답변 파이프라인으로 확장할 수 있습니다. HWP·HWPX 원본 문서의 구조를 보존한 전처리가 필요하다면, 한컴 데이터 로더에서 확인할 수 있습니다.