VLM(Vision-Language Model, 시각 언어 모델) 기반 문서 파싱으로 RAG 데이터 전처리 성능 높이는 방법

HANCOM 2026.08.17

VLM(Vision-Language Model, 시각 언어 모델)과 멀티모달 AI라면 문서의 표와 차트까지 한 번에 이해할 수 있을 것 같지만, 실제 RAG(Retrieval-Augmented Generation, 검색 증강 생성) 전처리 결과를 보면 표 구조가 손실되거나 차트의 데이터가 제대로 추출되지 않는 경우가 있습니다. 텍스트는 추출됐지만, 정작 중요한 데이터는 손실되는 경우가 발생하기도 합니다.

이 글에서는 VLM과 문서 파싱(Document Parsing)을 어떻게 함께 활용해야 하는지 살펴보고, 도입 시 발생할 수 있는 비효율과 고려해야 할 사항을 함께 정리합니다.

일반 OCR 및 단순 텍스트 파서의 문서 처리 한계

일반 OCR(Optical Character Recognition, 광학 문자 인식)과 단순 텍스트 파서는 문서의 글자 좌표만 읽어낼 뿐, 그 텍스트가 표의 헤더인지 주석인지 같은 시각적 맥락과 구조 관계를 잡아내지 못합니다. 글자를 정확히 인식하고도 그 글자가 어디에 속한 값인지가 손실되어, RAG 전처리 단계에서 데이터 구조가 손상되는 일이 자주 발생합니다.

단순 텍스트 추출이 시각적 맥락(Visual Context)을 놓치는 이유

단순 텍스트 추출이 시각적 맥락을 놓치는 이유는 텍스트만 추출할 뿐 그 텍스트가 문서 안에서 어떤 역할을 하는지를 함께 읽지 않기 때문입니다.

예로 일반 OCR로 보고서를 처리하면 문장은 추출되지만, 그 문장이 어떤 차트에 붙은 설명인지, 표의 어느 칸 값인지는 함께 추출되지 않습니다.

그래서 표 제목과 셀 값의 연결이 끊기고 다단 레이아웃의 읽기 순서가 뒤섞여, 같은 숫자를 읽어도 그 숫자가 어떤 항목의 수치인지 구분하기 어려워집니다.

문서 파싱 기술 연구에 따르면, 글자만 뽑아내는 방식으로는 ‘이 숫자가 어느 항목 값인지’와 같은 연결 정보가 사라져 RAG에 그대로 쓰기 어렵다고 합니다. 그래서 어디가 제목이고 본문인지 구분하는 DLA(Document Layout Analysis, 문서 구조 분석)가 동반돼야 추출 결과를 데이터로 활용할 수 있습니다.

*출처: arXiv, Zhang et al.,「Document Parsing Unveiled: Techniques, Challenges, and Prospects for Structured Information Extraction」, 2024

활용되지 못하고 사라지는 비정형 시각 데이터의 문제점

기업 보고서의 핵심 정보가 담긴 차트·그래프·다이어그램은 단순 파서에서 데이터가 누락되어 RAG 시스템에 아예 적재되지 못할 수 있습니다.

의사결정에 필요한 매출 추이나 비교 그래프가 데이터 파이프라인 초기 단계에서 통째로 누락될 위험이 있습니다.

이때 발생한 단계의 오류는 이후 단계인 검색·생성 단계까지 번집니다. OCR 오류가 RAG 성능에 어떤 영향을 주는지 측정한 OHR-Bench 연구를 보면, 성능이 가장 좋은 OCR을 써도 전체 정확도가 약 14%(F1 기준 5점) 떨어졌고, 검색·생성 단계에서는 손실이 더 컸습니다. 시각 데이터가 통째로 누락되는 것 또한 문제가 될 수 있습니다. 글자만 읽고 그 글자가 문서 어디에 놓였는지는 읽지 못하기 때문입니다.

*출처: arXiv, Zhang et al.,「OCR Hinders RAG: Evaluating the Cascading Impact of OCR on Retrieval-Augmented Generation」(OHR-Bench, ICCV 2025), 2024

VLM이 사내 RAG 전처리에 필요한 이유

VLM이란?

VLM은 시각 정보와 언어를 결합한 멀티모달 AI입니다. 이미지와 텍스트를 동시에 처리해 이미지를 설명하거나 이미지에 관한 질문에 답합니다. 이미지를 분석해 그 안에 무엇이 있는지를 문장으로 설명합니다.

구조적으로는 이미지를 해석하는 비전 인코더(vision encoder)와 언어 모델을 결합한 형태로, 비전 인코더가 뽑아낸 이미지 특징을 크로스 어텐션 계층을 통해 언어 모델에 전달합니다. LLM과의 차이도 이 지점에서 나타납니다. LLM은 텍스트에는 강하지만 이미지·영상 같은 비언어 정보는 직접 다루지 못하는데, VLM은 비전 인코더를 두어 이 한계를 보완하고 문서 안의 시각 요소까지 해석 대상으로 포함합니다.

VLM이 이미지를 어떻게 이해하는지 더 알고 싶다면

👉 VLM이란? 개념부터 문서 AI 활용까지 쉽게 이해하기

VLM 이미지 캡셔닝을 통한 차트 및 도표의 텍스트 데이터화

VLM은 단순 파서가 건너뛴 차트와 다이어그램을 시각적으로 인지해, ‘분기별 매출을 비교한 막대그래프’, ‘제품의 주요 부품을 보여주는 이미지’처럼 RAG가 검색할 수 있는 자연어 캡션으로 변환합니다. 이미지를 검색 엔진이 다룰 수 있는 문장으로 변환하는 작업을 이미지 캡셔닝(Image Captioning)이라고 합니다.

NVIDIA 기술 블로그에서는 RAG가 텍스트뿐 아니라 표·그래프·차트·다이어그램까지 함께 다룰 때 그 효용이 크게 커진다고 정리합니다. 시각 정보를 텍스트로 전환해야 비로소 문서 전체가 검색 대상이 됩니다.

*출처: NVIDIA Technical Blog,「An Easy Introduction to Multimodal Retrieval-Augmented Generation」

구조적 레이아웃 파악을 통한 문서 이해도(Document Understanding) 향상

문서에 대한 이해도는 표 제목과 셀 값, 이미지와 주변 설명 텍스트의 위치 관계가 유지된 채 LLM에 전달될 때 높아집니다. 맥락이 연결된 데이터를 받은 LLM은 항목과 수치를 제대로 묶어 답하기 때문입니다.

그래서 캡셔닝으로 시각 정보를 텍스트화하는 것과 더불어, 레이아웃 구조를 살린 전처리도 함께 이루어져야 합니다.

레이아웃을 살린 전처리의 효과는 수치로도 확인됩니다. 문서를 텍스트로 먼저 변환하지 않고 VLM으로 이미지째 이해하는 방식을 제안한 VisRAG 연구에 따르면, 레이아웃·시각 정보를 그대로 보존한 덕분에 텍스트 기반 RAG보다 검색·답변 정확도가 20~40% 높아졌다고 밝혔습니다.

*출처: arXiv, Yu et al.,「VisRAG: Vision-based Retrieval-augmented Generation on Multi-modality Documents」, 2024

외부 VLM API 도입 시 발생할 수 있는 문제점

파서 따로, 외부 VLM을 따로 연동하면 문서를 처리할 때마다 토큰 비용과 응답 지연이 누적될 수 있습니다.

또한 외부 VLM에 표와 이미지를 그대로 전달하면 없는 수치를 만들어내는 것과 같이 할루시네이션이 더해질 우려가 있고, 망분리 환경에서는 외부 API 자체를 쓸 수 없다는 보안 제약까지 발생합니다.

대량 문서 처리 시 발생하는 토큰 비용, 시간 지연 및 할루시네이션

대량 문서를 처리할 때 외부 VLM을 별도로 연동하면 문서 처리 건수가 늘어날수록 토큰 비용과 응답 지연이 함께 커집니다. 파서가 추출한 결과를 다시 외부 모델로 보내 해석을 받아오는 구조이기 때문입니다.

실제로 실무 엔지니어가 구축 경험을 다룬 아티클에서는 검색 단계에서 외부 VLM을 호출할 때마다 응답이 5~7초가량 늘어난다고 분석했습니다.

특히 이러한 호출 문제는 적재 시점에 한 번이 아니라 질문이 들어올 때마다 발생하므로, 질문량이 많을수록 비용이 배가됩니다.

비용과 지연만 문제가 되는 것은 아닙니다. VLM 역시 이미지에 없는 내용을 사실처럼 설명하거나, 복잡한 표의 셀 값을 잘못 해석하는 할루시네이션 가능성에서 완전히 자유롭지 않습니다.

예를 들어 표를 이미지 그대로 외부 VLM에 넘기면 행과 열의 관계를 잘못 읽거나, 실제 문서에 없는 수치를 생성할 위험이 있습니다.

따라서 여기서 짚어야 할 문제는 VLM 자체가 아니라, 문서 구조를 정리하지 않은 상태에서 외부 VLM에 해석을 전적으로 맡기는 방식입니다. 먼저 DLA와 TSR(Table Structure Recognition, 표 구조 인식)로 표와 레이아웃을 구조화하고, 이후 차트나 다이어그램처럼 텍스트 추출만으로 설명하기 어려운 시각 정보에 한해 VLM을 활용하는 것이 더 안정적입니다. 즉, 문서 파싱이 기반을 마련하고 VLM이 시각 정보를 보완할 때 RAG 전처리 결과의 신뢰도를 높일 수 있습니다.

*출처: arXiv, Kogilathota et al.,「HALP: Detecting Hallucinations in Vision-Language Models without Generating a Single Token」, 2026

*출처: Towards AI,「Your Multimodal RAG Pipeline Should Look at Images Twice」, 2026

외부 클라우드 연동으로 인한 온프레미스 보안 환경 구축 제약

외부 VLM API나 클라우드 기반 문서 인식 서비스를 활용하려면 사내 문서를 외부 클라우드 환경으로 전송해 분석해야 합니다. 이 때문에 공공·금융·법무처럼 문서 외부 전송이 제한되는 환경에서는 기능 성능 이전에 보안 정책과 컴플라이언스 검토가 먼저 필요합니다. 비용이나 속도보다, 해당 환경에서 쓸 수 있는 방식인지부터 확인해야 합니다.

특히 외부 통신이 차단된 폐쇄망이나 망분리 환경에서는 문서를 밖으로 내보내는 방식이 도입의 제약이 될 수 있습니다. 따라서 이런 환경에서는 문서 추출·캡셔닝·구조 분석을 내부망 안에서 처리할 수 있는 구성이 중요합니다.

결국 비용·응답 지연·환각 리스크·보안 제약을 함께 줄이려면, VLM 기반 캡셔닝과 DLA·OCR·TSR이 하나의 파이프라인 안에 내재화된 솔루션이 필요합니다.

VLM 기능으로 정확도를 높이는 문서 파싱 솔루션, 한컴 데이터 로더

🖥️한컴 데이터 로더

HWP·HWPX 직접 파싱부터 자체 VLM까지

한컴 데이터 로더는 HWP·HWPX·PDF·OOXML을 구조화 데이터로 전환하는 문서 파싱 솔루션입니다. 특히 HWP·HWPX는 PDF로 변환하지 않고 원본 그대로 직접 파싱하기 때문에, 표 구조와 각주·메타데이터가 변환 과정에서 누락되는 일을 줄입니다.

텍스트와 표는 직접 파싱으로 추출하고, 차트·이미지처럼 글자로 담기 어려운 시각 정보는 내재화된 자체 VLM이 이미지 캡셔닝으로 처리합니다. (이미지 캡셔닝은 현재 PoC 단계로, 상용 출시 일정은 추후 안내될 예정입니다.)

모든 요소를 외부 VLM에 통째로 넘기지 않으니, 외부 VLM 연동에서 생기는 비용·속도·환각 부담을 줄일 수 있습니다.

DLA·TSR로 표·레이아웃 구조를 살린 추출

DLA와 TSR은 손상되기 쉬운 표·레이아웃을 구조 그대로 살려 추출하는 두 축입니다. DLA가 제목·본문·표·이미지 영역을 구분하고 읽기 순서를 복원하면, TSR이 그 안에서 표 내부를 셀 단위로 복원합니다.

TSR은 병합 셀과 다단 헤더, 테두리 없는 표나 표 안의 표까지 행·열 관계를 파악해 Markdown·JSON·HTML로 출력합니다. 단순 추출에서 줄글로 흩어지던 표 데이터가 셀 단위 관계를 유지한 구조화 데이터로 복원되어, 두 기술이 함께 작동할 때 복잡한 문서에서도 추출 정확도를 높일 수 있습니다. 다만 처리 방식은 입력 포맷에 따라 다릅니다. 모든 포맷에 같은 기술이 일괄 적용되지는 않습니다.

입력 포맷	처리 방식
HWP·HWPX	원본 직접 파싱, DLA·TSR 적용, OCR은 API 유형에 따라 선택
PDF	DLA·TSR·OCR 모두 적용
PNG·JPG·BMP	OCR 기반 인식
OOXML	텍스트 추출

이렇게 추출한 계층 정보는 다음 단계로 이어집니다. 제목·부제목·본문의 위계가 살아 있는 구조화 데이터는 자사 RAG 솔루션인 한컴피디아가 의미 단위로 청킹할 때 그 경계를 잡는 기준으로 쓰입니다. 추출·파싱은 한컴 데이터 로더가, 청킹 이후의 RAG 파이프라인은 한컴피디아가 맡는 역할 구분입니다.

SaaS API와 온프레미스, 환경에 따른 선택

한컴 데이터 로더는 도입 환경에 따라 온프레미스와 SaaS API 방식으로 활용할 수 있습니다.

공공·금융처럼 외부 전송이 제한된 환경에서는 내부 서버에 설치하는 온프레미스 방식이 적합합니다. 문서를 외부로 보내지 않고 내부망 안에서 처리할 수 있어, 폐쇄망이나 망분리 환경에서도 보안 요건을 맞추기 쉽습니다.

반대로 초기 검증이나 빠른 연동이 필요한 경우에는 SaaS API를 활용할 수 있습니다. 별도 서버 구축 없이 API로 문서를 연동하고, 페이지 단위 과금 방식으로 실제 문서의 추출 결과를 먼저 확인할 수 있습니다.

RAG 전처리의 핵심은 문서를 글자만이 아니라 구조 그대로 읽어내는 것입니다. 한컴 데이터 로더는 DLA·OCR·TSR과 VLM 캡셔닝을 하나의 파이프라인에서 처리해 정보 손실을 줄입니다. 실제 문서 추출 결과는 라이브 데모에서 확인할 수 있습니다.

👉 표·차트까지 어떻게 추출되는지 궁금하다면? 라이브 데모로 확인하기

👉 자사 문서 환경에 맞는 문서 파싱 솔루션 도입 방안 문의하기

자주 묻는 질문

단순 OCR과 VLM 기반 문서 파싱은 무엇이 다른가요?

단순 OCR은 글자 좌표만 읽어 표·차트의 구조와 시각 맥락을 잃지만, VLM 기반 문서 파싱은 차트·다이어그램까지 검색 가능한 텍스트로 변환하고 레이아웃 구조를 살려 RAG 전처리 정확도를 높입니다. 즉, 단순히 글자를 추출하는 수준을 넘어 문서의 구조와 시각 정보를 함께 활용하는 단계로 발전한 것입니다.

VLM이 무엇인가요, LLM과 다른가요?

VLM은 이미지와 텍스트를 함께 처리하는 멀티모달 AI이고, LLM은 텍스트만 처리하는 모델입니다. VLM은 비전 인코더로 이미지를 받아들여 시각 정보까지 해석한다는 점이 가장 큰 차이입니다.

VLM 기술로 문서 속 이미지와 차트를 자동으로 분류하는 문서 파싱 솔루션이 있나요?

한컴 데이터 로더는 VLM 기반 이미지·차트 캡셔닝으로 시각 정보를 텍스트 설명으로 변환하는 파이프라인을 지원합니다. ※ 이미지 캡셔닝 기능은 현재 PoC 단계로, 상용 출시 일정은 추후 안내될 예정입니다.

참고자료

arXiv, Zhang et al., 「Document Parsing Unveiled: Techniques, Challenges, and Prospects for Structured Information Extraction」, 2024
arXiv, Zhang et al., 「OCR Hinders RAG: Evaluating the Cascading Impact of OCR on Retrieval-Augmented Generation」(OHR-Bench, ICCV 2025), 2024
NVIDIA Technical Blog, 「An Easy Introduction to Multimodal Retrieval-Augmented Generation」
arXiv, Yu et al., 「VisRAG: Vision-based Retrieval-augmented Generation on Multi-modality Documents」, 2024