비정형 데이터 파싱이 어려운 이유, AI 문서 파싱으로 구조화하는 법
RAG에 문서를 다 넣었는데 표가 깨져 답이 엉뚱하게 나오거나, 글자는 추출됐는데 어느 항목의 값인지 연결이 끊기는 일. 공공·금융 기관 문서를 데이터화해 본 담당자라면 익숙한 장면입니다. 근본 원인은 데이터의 형태에 있습니다. 기업 데이터 대부분을 차지하는 비정형 데이터는 정해진 구조가 없어, 가공하지 않은 상태로는 분석에 활용하기 어렵습니다. 이번 글에서는 비정형 데이터 파싱(Parsing)이 어려운 이유와 AI 문서 파싱(Document Parsing)으로 구조화하는 방법을 정리했습니다.
비정형 데이터란 무엇인가요?
비정형 데이터(Unstructured Data)는 행과 열처럼 사전에 정의된 구조(스키마)가 없는 정보로, 문서·이메일·이미지·영상처럼 형태가 일정하지 않아 기존 데이터 도구로는 그대로 분석하기 어렵습니다.
비정형 데이터 뜻, 정형 데이터와 어떻게 다른가요?
비정형 데이터는 사전 정의된 데이터 모델이나 스키마가 없는 정보로, 행과 열로 정리되는 정형 데이터(Structured Data)와 대비됩니다. 가장 큰 차이는 구조를 언제 부여하느냐에 있습니다.
정형·비정형 데이터를 비교한 IBM 기술 문서에 따르면, 정형 데이터는 고정 스키마를 가져 관계형 데이터베이스(RDBMS)에 행·열로 저장되고 SQL로 조회됩니다. 반면 비정형 데이터는 고정 스키마가 없고 오디오·웹페이지처럼 복잡한 형식이라 기존 데이터베이스에 쉽게 맞지 않습니다.
| 기준 | 정형 데이터 | 비정형 데이터 |
| 구조 유무 | 고정 스키마(행·열) | 사전 정의 구조 없음 |
| 저장 위치 | 관계형 데이터베이스(RDBMS) | 데이터 레이크 등 원본 그대로 |
| 조회 방식 | SQL로 조회 | 별도 처리·분석 필요 |
| 스키마 적용 시점 | schema-on-write(저장 전 구조화) | schema-on-read(사용 시점에 적용) |
비정형 데이터에는 어떤 종류가 있나요?
비정형 데이터는 문서·이메일 같은 텍스트 기반 데이터부터 이미지, 오디오, 영상까지 다양한 형태로 존재합니다.
- 비텍스트 기반: 이미지(JPEG·GIF·PNG), 멀티미디어, 영상, 모바일 활동·IoT 센서 데이터
- 텍스트 기반: 이메일, Word 문서, PDF, 블로그·SNS 게시물, 통화 녹취·메시지 텍스트
이 가운데 기업 현장에서 가장 다루기 까다로운 것은 보고서·계약서·공문처럼 표와 계층이 뒤섞인 텍스트 기반 문서로, 파싱 난도가 가장 높은 영역입니다.
비정형 데이터 파싱이 어려운 이유
비정형 데이터는 정해진 구조가 없어 텍스트만 순서대로 읽으면 표·구조 정보가 손상되고, 이렇게 손상된 데이터는 RAG의 검색·생성 단계로 이어지며 품질을 떨어뜨립니다.
정해진 구조가 없어서 생기는 비정형 데이터 파싱 어려움
비정형 데이터는 사전 정의된 데이터 모델이 없기 때문에 기존 데이터 처리 도구로는 그대로 분석하기 어렵습니다. 데이터를 사용하는 시점에 구조를 새로 부여해야 하는데, 그 구조를 복원하는 일 자체가 까다롭습니다.
대표적인 난관이 문서 속 표입니다. 표 인식을 다룬 RobusTabNet 연구는 어떤 서식이 들어와도 표의 위치와 구조를 안정적으로 읽어내는 일을 핵심 과제로 보고 있습니다. 표·문자 인식을 함께 다룬 Multi-Cell Decoder 연구에서도 표 구조와 문자를 자동으로 인식하는 일을 여전히 해결하기 어려운 과제로 보고 있습니다. 사람에게는 단순해 보이는 표도 기계가 구조를 정확히 읽어내려면 별도 연구가 필요할 만큼 어렵습니다.
비정형 데이터 처리 과정에서 단순 OCR·텍스트 추출이 손상되는 경우
단순 텍스트 추출 방식은 문서의 구조를 무시하고 글자만 순서대로 읽기 때문에, 표나 다단 구성에서 정보가 뒤섞이는 문제가 발생합니다.
OCR(Optical Character Recognition, 광학 문자 인식)이 RAG에 미치는 영향을 평가한 OHRBench 연구는 OCR 노이즈를 두 종류로 정의합니다. 글자를 잘못 읽는 의미 오류(Semantic Noise)와, 표·서식 같은 구조 표현이 어긋나는 서식 오류(Formatting Noise)입니다. 글자를 제대로 읽어도 이 서식 오류가 남으면 RAG 품질이 저하된다는 것이 연구의 핵심입니다.
평가에서 가장 우수했던 파이프라인 OCR(MinerU)조차, 오류 없는 원본 문서로 답했을 때와 비교해 OCR로 추출한 텍스트로 답하면 정답이 2.93점 낮아졌습니다. OCR이 문서를 변환하는 과정에서 섞인 오류가 그대로 답변 품질로 옮겨간 결과입니다. 서식 오류만 따로 놓고 보면 특정 질의·모델 기준으로 검색에서 최대 약 16.8%, 생성에서 최대 약 19.4%까지 성능이 내려갔습니다.
HWP 파일에서 텍스트나 표 데이터를 추출하기 어려운 이유
HWP는 사람이 그대로 읽을 수 없는 바이너리 형식으로 저장되며, 전용 소프트웨어가 아니면 다른 도구로 내용을 추출하기 어렵습니다. 그래서 공공·금융 기관에 쌓인 HWP 문서는 데이터화를 시작하는 단계부터 어려움을 겪습니다.
어려움의 정도는 포맷 내부 구조를 들여다보면 분명해집니다. HWP 포맷 구조를 설명한 한컴테크 기술 글에 따르면, HWP 문서는 DocInfo·BodyText 같은 여러 스트림으로 나뉘고, 각 데이터는 종류·크기·내용을 묶은 레코드 단위로 저장된 뒤 압축까지 적용됩니다. 단순히 글자를 추출하는 방식으로는 이렇게 여러 겹으로 나뉜 구조를 복원할 수 없는 이유입니다.
표(병합 셀·다단 헤더)는 왜 정확하게 추출되지 않을까요?
표는 셀 간 표 구조 자체가 의미를 담고 있는데, 병합 셀이나 경계가 불분명한 표는 그 구조를 정확히 복원하기가 쉽지 않습니다.
어려움의 핵심은 ‘보이지 않는 구조’에 있습니다. Multi-Cell Decoder 연구는 표 구조와 문자를 함께 인식하는 일을 지식 정보 처리의 중요한 과제로 보며, 상하·좌우로 병합된 셀과 보이지 않는 테두리가 있는 표를 까다로운 인식 대상으로 다룹니다. RobusTabNet 연구 역시 빈 공간이 넓거나 형태가 일그러진 표를 핵심 난제로 보고, 표를 셀 격자로 분할한 뒤 병합된 셀을 다시 복원하는 방식을 제안했습니다.
최근 표 인식을 다룬 TABLET 연구도 행·열을 분할하고 셀을 다시 병합하는 방식으로 복잡한 표 구조를 복원하는 모델을 제안했습니다. 그만큼 병합 셀·다단 헤더가 섞인 표를 정확히 읽어내는 일은 지금도 해결해가는 과정에 있는 난제입니다.
비정형 데이터 처리 품질이 RAG 파이프라인까지 영향을 주는 이유
문서 구조가 손상된 채 텍스트만 추출되면 검색 단계에서 잘못된 정보가 검색되고, 결과적으로 LLM이 부정확한 답변을 생성하는 할루시네이션으로 이어집니다.
일반적으로 RAG 프로세스는 ‘문서 추출 → 파싱 → 청킹 → 임베딩 → 벡터DB 저장 → 검색 → LLM 답변’ 흐름으로 이어집니다.
추출이 부정확하면 뒤 단계가 연쇄적으로 영향을 받습니다. 계층적 청킹을 다룬 HiChunk 연구도 기존 청킹 방식의 평가 도구 자체가 부족하다는 점을 짚으며, 문서의 계층 구조를 살린 청킹이 검색 품질을 높이는 핵심이라고 제안합니다. 이 문제를 바로잡는 답이 구조를 보존하는 AI 문서 파싱입니다.
AI 문서 파싱으로 비정형 데이터 구조화하는 방법
AI 문서 파싱은 문서의 구조와 역할까지 분석해 표·계층·메타데이터를 보존한 채 JSON 등 구조화 데이터로 변환하는 방식입니다.
AI 문서 파싱, 일반 텍스트 추출과 어떻게 다른가요?
OCR은 이미지에서 글자를 읽어 텍스트로만 변환하지만, 문서 파싱은 그 텍스트가 어떤 구조와 역할을 가지는지까지 분석합니다.
구조화 정보 추출을 다룬 문서 파싱 서베이는 DLA(Document Layout Analysis, 문서 구조 분석)를 문서 이해의 기본 전처리 단계로 다루며 OCR과 구조 분석을 별개 영역으로 구분합니다. 다른 연구 또한 VLM(Vision-Language Model, 시각 언어 모델) 기반 접근이 이미지 특징을 텍스트와 결합해 종단간(end-to-end)으로 처리하며 전통적 OCR 방식의 한계를 넘어선다고 설명합니다.
| 기준 | OCR | 문서 파싱(Document Parsing) |
| 처리 대상 | 이미지 속 글자 | 문서 전체(텍스트·표·이미지) |
| 출력 | 텍스트 | 구조가 보존된 데이터 |
| 구조 인식 | 없음 | 제목·본문·표 구분·복원 |
| 활용 | 글자 디지털화 | RAG·AI 학습용 구조화 데이터 |
한컴 데이터 로더는 바로 이 문서 파싱을 수행하는 솔루션으로, DLA·OCR·TSR(Table Structure Recognition, 표 구조 인식)을 기반으로 문서를 분석합니다.
문서 유형별 파싱 프로세스 (HWP·PDF·PDF AI·OOXML)
한컴 데이터 로더는 HWP·PDF·PDF AI·OOXML 4종 입력 포맷마다 정해진 프로세스를 거쳐 구조화된 최종 결과물을 제공합니다.
| 입력 포맷 | 처리 프로세스 |
| HWP | 문서 → 데이터 속성 분석 → 데이터 및 정보 추출 → AI 보완 → 데이터 및 정보 보완 → 최종 결과물 제공 |
| PDF AI | 문서 → DLA(AI 기반) → 데이터 및 정보 추출 → 최종 결과물 제공 |
| 문서 → 규칙 기반 분석 → 데이터 및 정보 추출 → 최종 결과물 제 | |
| OOXML | 문서 → 데이터 및 정보 추출 → 최종 결과물 제공 |
이 처리는 정형 문서를 빠르게 다루는 규칙 기반 분석과, 그림·표가 뒤섞인 비정형 문서를 정밀하게 다루는 AI 기반 문서 구조 이해, 두 엔진이 병행해 동작합니다. OOXML이 텍스트 추출 위주인 반면 HWP·HWPX·PDF AI는 구조 분석 단계가 함께 수행됩니다.
HWP 파일, AI 문서 파싱으로 텍스트와 표를 추출하는 방법
HWP·HWPX는 원본을 직접 파싱하는 방식으로 처리되어, PDF 변환 없이도 표 구조와 각주, 메타데이터가 보존됩니다. 앞서 짚은 ‘HWP는 바이너리라 일반 도구로 읽기 어렵다’는 문제를 직접 해결하는 방식입니다.
PDF로 변환한 뒤 추출하면 그 과정에서 표나 각주 같은 구조 정보가 떨어져 나가기 쉽지만, 원본을 직접 파싱하면 정보 누락을 최소화하며 그대로 보존할 수 있습니다. HWP·HWPX 문서는 문단 기준 계층 구조 정보까지 제공해, 제목·본문·표가 어떤 위계로 묶이는지도 함께 추출됩니다. 국내 업무 환경에 최적화된 이 형식으로 공공·금융 문서 상당수가 쌓여 있는 만큼, 원본을 직접 다루는 방식은 데이터화가 막혀 있던 자료를 활용 가능한 데이터로 되살리는 핵심 역할을 합니다.
병합 셀·다단 헤더가 있는 표도 정확하게 추출할 수 있을까요?
TSR 기술은 셀 간 관계를 파악해 테두리 없는 표, 병합 셀, 중첩 표까지 논리 구조를 그대로 복원합니다.
TSR은 이미지 속 표를 논리적 좌표나 마크업 시퀀스로 바꾸는 기술입니다. 글자를 차례로 읽기 전에 셀이 어떻게 연결되는지부터 파악하기 때문에, 병합된 셀이나 머리글이 두 줄 이상인 표에서도 헤더와 값의 연결을 유지합니다. 복원한 표는 셀·행·열 단위로 Markdown, JSON, HTML로 출력돼 별도 후처리 없이 바로 활용할 수 있어, 표 자체가 의미를 담는 공공·금융 문서에서 특히 중요합니다.
문서 파싱 결과는 어떤 형태로 출력되나요?
문서 파싱 결과는 사용 환경과 입력 포맷에 따라 JSON, HTML, Clientinfo 등 구조화된 데이터 형식으로 출력됩니다.
| 사용 환경 | 입력 포맷 | 출력 형식 |
| 스튜디오 | PDF·PDF AI | JSON·HTML·뷰어 |
| 스튜디오 | HWP·HWPX | JSON·뷰어 |
| 솔루션 | PDF AI·HWP·HWPX | JSON·Clientinfo |
| 솔루션 | OOXML | Clientinfo |
| API SaaS | PDF·HWP·HWPX | JSON |
핵심은 비정형 데이터가 JSON 같은 구조화 형식으로 출력된다는 점입니다. 구조가 보존된 JSON은 RAG 연계, AI 학습 데이터 확보, 검색 인덱싱에 바로 쓸 수 있어 추출 이후 단계의 손이 크게 줄어듭니다.
문서 파싱 솔루션 종류와 선택 기준
문서 파싱 솔루션을 고를 때는 표·구조 보존 능력, 입력 포맷 지원 범위, 폐쇄망 등 보안 환경 지원 여부를 기준으로 비교하면 됩니다.
RAG를 위한 비정형 데이터 전처리 도구 선택 기준
표·구조 보존 능력, 입력 포맷 지원 범위, 보안 환경 지원 여부, 이 세 가지가 RAG 문서 전처리 도구를 고르는 핵심 기준입니다.
구조 손상(Formatting Noise)은 RAG 검색·생성 단계 모두에 연쇄 성능 저하를 가져오므로, 구조 보존 능력이 첫 번째 기준이 됩니다. 또한 OCR과 문서 이해를 위한 딥러닝 서베이에서는 문서 구조 분석·텍스트 인식·정보 추출을 통합한 종단간 시스템이 문서 이해 분야에서 점점 중요해지고 있다고 설명합니다. 정리하면 다음 세 가지를 확인하면 좋습니다.
✅ 표·구조 보존 능력
병합 셀·다단 헤더가 있는 표까지 관계를 보존해 추출하는가
✅ 입력 포맷 지원 범위
HWP·HWPX·PDF·OOXML 등 실제 보유한 문서 포맷을 다루는가
✅ 보안 환경 지원
온프레미스·폐쇄망 환경에서 운용할 수 있는가
💡 표·구조 보존부터 보안 환경까지, 세 가지 기준을 모두 충족하는 솔루션이 궁금하다면?
폐쇄망 환경 지원 여부에 따른 문서 AI 솔루션 비교
문서 AI 솔루션은 문서를 외부 서버로 전송하는 클라우드 방식과, 내부 서버에 설치해 문서가 외부로 나가지 않는 온프레미스 방식으로 나뉩니다.
| 기준 | 온프레미스 | SaaS API(클라우드) |
| 설치 위치 | 고객사 내부 서버 | 외부 클라우드 연동 |
| 데이터 외부 전송 | 없음 | 외부 서버로 전송 |
| 과금 | 구축형 | 페이지 단위 과금 |
| 적합 환경 | 공공·금융 등 폐쇄망 | 빠른 도입·파일럿 |
한컴 데이터 로더는 이 두 방식을 모두 제공합니다. 온프레미스는 고객사 내부 서버에 직접 설치·운용해 문서가 외부로 나가지 않으므로 공공·금융 같은 고보안 폐쇄망에 적합합니다. SaaS API는 별도 서버 없이 즉시 연동되고 페이지 단위로 과금돼, 초기 투자 없이 빠르게 시작하거나 온프레미스 도입 전 파일럿 용도로 쓰기에 좋습니다.
문서 파싱 자동화로 얻을 수 있는 효과
문서 파싱을 자동화하면 표·계층·메타데이터가 보존된 구조화 데이터를 바로 RAG·AI 학습에 활용할 수 있어, 추출 이후 손이 가는 작업이 크게 줄어듭니다. 다만 자동 추출만으로 정확도를 확보하기 어려운 문서는 데이터 로더 스튜디오(확장 솔루션)를 통해 사용자가 직접 결과를 확인하고 필요한 부분을 후보정할 수 있습니다.
데이터 로더 스튜디오는 전처리한 추출 결과를 원본 문서와 나란히 비교하며 검토를 도와줍니다. 사용자가 직접 계층·카테고리·읽기 순서를 확인하고 후보정해 문서 구조와 의미 관계를 업무 목적에 맞게 정제할 수 있습니다. 의미 기반 태깅·라벨링으로 고객사 양식에 맞는 추출 기준을 보완하면 학습·검색에 적합한 품질로 데이터를 다듬을 수 있습니다.
💡 보유한 HWP·PDF 문서가 어떻게 구조화되는지 직접 확인하고 싶다면?
비정형 데이터 파싱 자주 묻는 질문 (FAQ)
비정형 데이터와 정형 데이터의 가장 큰 차이는 무엇인가요?
스키마(사전 정의된 구조)의 유무가 핵심 차이입니다. 정형 데이터는 행·열 스키마를 갖춰 저장되고, 비정형 데이터는 스키마 없이 원본 형태로 저장됩니다.
HWP 파일도 AI 문서 파싱이 가능한가요?
가능합니다. 한컴 데이터 로더는 HWP·HWPX 원본을 직접 파싱해, PDF 변환 없이 표·각주·메타데이터를 보존한 채 추출합니다.
표 안에 표가 있거나 셀이 병합된 문서도 정확하게 추출되나요?
TSR 기술로 대응합니다. 셀 간 관계를 파악해 중첩 표·병합 셀·테두리 없는 표까지 논리 구조를 복원합니다.
폐쇄망 환경에서도 문서 파싱 솔루션을 사용할 수 있나요?
온프레미스 배포 방식으로 가능합니다. 내부 서버에 설치해 문서를 외부로 전송하지 않으므로 공공·금융 폐쇄망에 적합합니다.
문서 파싱 결과는 RAG 시스템에 바로 활용할 수 있나요?
JSON 등 구조화 형식으로 출력되어 RAG 파이프라인에 바로 연계할 수 있습니다. 구조가 보존돼 검색·생성 단계의 후처리 부담이 줄어듭니다.
비정형 데이터 파싱, AI 문서 파싱으로 RAG 품질부터 잡는 법
비정형 데이터 파싱이 어려운 이유는 크게 세 가지로 정리됩니다. 정해진 구조가 없어 파싱이 어렵고, 손상된 추출 결과는 RAG 검색·생성 단계로 이어지며 품질을 떨어뜨리고, 그래서 구조를 보존하는 AI 문서 파싱이 품질의 핵심이 됩니다.
🖥️한컴 데이터 로더
한컴 데이터 로더는 HWP·HWPX 원본을 직접 파싱하고 TSR로 복잡한 표까지 복원하며, 온프레미스 환경에서 폐쇄망 문서를 다루는 문서 파싱 솔루션입니다. 그간 데이터화하기 어려웠던 문서를 RAG에 즉시 활용할 수 있는 구조화 데이터로 되살리는 과정을 라이브 데모에서 직접 확인할 수 있습니다.
참고자료
- IBM, 「Structured vs. Unstructured Data: What’s the Difference?」
- IBM, 「What Is Unstructured Data?」
- arXiv, 「Robust Table Detection and Structure Recognition from Heterogeneous Document Images」(RobusTabNet), 2022
- arXiv, 「Multi-Cell Decoder and Mutual Learning for Table Structure and Character Recognition」, 2024
- arXiv, 「TABLET: Table Structure Recognition using Encoder-only Transformers」, 2025
- arXiv, 「OCR Hinders RAG: Evaluating the Cascading Impact of OCR on Retrieval-Augmented Generation」(OHRBench), 2025
- arXiv, 「Evaluating and Enhancing Retrieval-Augmented Generation with Hierarchical Chunking」(HiChunk), 2025
- arXiv, 「Document Parsing Unveiled: Techniques, Challenges, and Prospects for Structured Information Extraction」, 2024
- arXiv, 「Document Intelligence in the Era of Large Language Models: A Survey」, 2025
- arXiv, 「A Survey of Deep Learning Approaches for OCR and Document Understanding」, 2020
- arXiv, 「OCR Hinders RAG: Evaluating the Cascading Impact of OCR on Retrieval-Augmented Generation」(OHRBench), 2024
