Dify PDF 챗봇 만들기｜문서 내용만 답하는 무료 RAG 설정 방법 (2026 최신판)

안녕하세요.
IT세상입니다. 😊

회사 규정이나 제품 설명서를 찾기 위해 긴 PDF 문서를 처음부터 끝까지 확인한 경험이 있으신가요?

문서가 한두 장이라면 직접 읽어도 됩니다. 하지만 매뉴얼과 규정이 수십 페이지로 늘어나면 필요한 내용을 찾는 데 시간이 오래 걸립니다. 같은 질문을 여러 사람이 반복해서 물어보는 상황도 생깁니다.

이럴 때 PDF 문서를 등록하고 자연어로 질문할 수 있는 전용 AI 챗봇을 만들면 편리합니다.

이번 글에서는 Dify PDF 챗봇 만들기를 직접 진행해 보겠습니다. 실습용 규정 문서를 지식베이스에 등록하고, 문서에 있는 내용을 찾아 답변하는 챗봇을 만든 뒤 웹 링크로 공개하는 과정까지 다룹니다.

별도의 프로그램이나 코드는 사용하지 않습니다. Dify Cloud의 무료 Sandbox 계정으로 기본 구조를 따라 할 수 있습니다.

💡 한 줄 요약
Dify에서 PDF 지식베이스를 만들고 Chatbot의 Context에 연결하면 사용자의 질문과 관련된 문서 내용을 검색해 답하는 RAG 챗봇을 만들 수 있습니다.

📌 목차

1. 이번에 만들 PDF 챗봇
2. 시작 전 준비할 것
3. 실습용 PDF 문서 만들기
4. Dify AI 모델 설정하기
5. PDF 지식베이스 만들기
6. 문서 검색 결과 테스트하기
7. 지식 기반 챗봇 만들기
8. 웹 앱으로 공개하기
9. 오류와 답변 품질 개선
10. 자주 묻는 질문

이번에 만들 Dify PDF 챗봇

이번 실습에서는 가상의 회사 규정 PDF를 등록하고 직원의 질문에 답하는 챗봇을 만듭니다.

챗봇의 작동 순서

① 사용자가 휴가나 비용 처리 방법을 질문합니다.
② Dify가 질문과 관련된 PDF 내용을 검색합니다.
③ 검색된 문서 조각을 AI 모델에 전달합니다.
④ AI가 문서 내용을 바탕으로 답변합니다.
⑤ 사용자는 답변과 함께 참고한 출처를 확인합니다.

이처럼 사용자의 질문과 관련된 자료를 먼저 검색한 뒤 AI가 답변하도록 만드는 방식을 RAG라고 합니다.

Dify의 기본 기능과 Chatbot, Chatflow, Workflow의 차이는 앞서 작성한 Dify 소개 글에서 자세히 설명했습니다.

Dify PDF 챗봇 시작 전 준비할 것

① Dify 계정

Dify Cloud의 무료 Sandbox 계정으로 기본 실습을 진행할 수 있습니다.

② 테스트 PDF

내용을 직접 확인할 수 있는 짧고 구조가 명확한 PDF를 준비합니다.

③ AI 모델

Dify AI 크레딧을 사용하거나 지원되는 모델 공급자의 API Key를 연결합니다.

⚠️ 회사 기밀 문서부터 올리지 마세요
처음에는 직접 만든 테스트 문서를 사용하세요. 고객 정보, 주민등록번호, 계약 내용과 회사 내부자료를 업로드하기 전에는 조직의 보안 정책과 데이터 처리 조건을 확인해야 합니다.

1단계. 실습용 PDF 문서 만들기

실습 결과를 정확히 확인하려면 내용이 짧고 답이 분명한 PDF를 사용하는 것이 좋습니다.

아래 내용은 실제 회사 규정이 아닌 챗봇 테스트용 가상 문서입니다. 내용을 문서 편집기에 붙여 넣은 뒤 PDF로 저장하세요.

IT세상 테스트 회사 휴가 및 비용 처리 안내서 1. 연차휴가 신청
연차휴가는 사용일 기준 3영업일 전까지 사내 시스템에서 신청해야 합니다.
긴급한 사유가 있는 경우 당일 신청이 가능하지만 팀장의 승인이 필요합니다.

2. 반차 사용 시간
오전 반차는 오후 2시까지 출근해야 합니다.
오후 반차는 오후 2시부터 사용할 수 있습니다.

3. 병가 신청
병가가 3일 이상 이어지는 경우 병원 진단서를 제출해야 합니다.
1일 또는 2일 병가는 진단서 없이 신청할 수 있습니다.

4. 교통비 처리
외근과 출장으로 발생한 대중교통 비용은 영수증을 첨부해 신청합니다.
택시는 대중교통 이용이 어려운 경우에만 사용할 수 있으며 이용 사유를 작성해야 합니다.

5. 식대 처리
야근 식대는 1인당 15,000원까지 신청할 수 있습니다.
결제일로부터 7일 이내에 영수증과 참석자 명단을 제출해야 합니다.

6. 비용 승인
한 건의 비용이 100,000원을 초과하면 부서장의 추가 승인이 필요합니다.
증빙 자료가 없는 비용은 원칙적으로 처리되지 않습니다.

문서를 저장할 때 파일 이름은 아래처럼 알아보기 쉽게 지정합니다.

파일 이름: IT세상_테스트회사_휴가비용규정.pdf

스캔한 이미지 형태의 PDF보다 글자를 선택하고 복사할 수 있는 텍스트 PDF가 실습에 적합합니다.

2단계. Dify AI 모델 설정하기

챗봇이 답변하려면 대화용 AI 모델이 필요하고, 고품질 지식 검색을 사용하려면 문서 내용을 숫자 형태로 변환하는 임베딩 모델이 필요합니다.

모델 설정 순서

① Dify 화면에서 Integrations로 이동합니다.
② Model Provider를 선택합니다.
③ 사용할 모델 공급자를 설치합니다.
④ Dify AI 크레딧을 사용하거나 API Key를 등록합니다.
⑤ Default Models에서 대화 모델과 임베딩 모델을 확인합니다.

Dify AI 크레딧이 남아 있다면 별도의 API Key 없이 지원 모델을 시험할 수 있습니다.

크레딧이 없거나 원하는 모델을 직접 사용하려면 해당 모델 공급자의 API Key를 등록해야 합니다. 이 경우 모델 사용량에 따라 공급자 측에서 별도 비용이 발생할 수 있습니다.

💡 처음에는 작은 모델로 테스트하세요
문서 검색과 프롬프트가 정상적으로 작동하는지 확인하는 단계에서는 빠르고 비용이 낮은 모델이 적합합니다. 구조를 완성한 뒤 답변 품질을 비교하면서 모델을 변경하세요.

3단계. Dify PDF 지식베이스 만들기

Dify의 상단 메뉴에서 Knowledge로 이동합니다.

지식베이스 생성 순서

① Knowledge에서 Create를 누릅니다.
② Create a ready-to-use knowledge base를 선택합니다.
③ 데이터 출처로 Import from file을 선택합니다.
④ 앞에서 만든 PDF 파일을 업로드합니다.
⑤ 문서 분할과 검색 방식을 설정합니다.
⑥ 처리 결과를 확인하고 지식베이스를 생성합니다.

지식베이스 이름은 아래처럼 작성합니다.

지식베이스 이름: 테스트 회사 휴가·비용 규정

무료 Sandbox에서는 한 번에 너무 많은 파일을 올리기보다 PDF 한 개부터 테스트하는 것이 좋습니다.

문서 분할 방식 선택하기

Dify는 긴 문서를 여러 개의 작은 단위로 나눠 저장합니다. 이 작은 단위를 청크라고 합니다.

사용자가 질문하면 PDF 전체를 AI에게 전달하는 것이 아니라, 질문과 관련성이 높은 청크를 찾아 답변에 사용합니다.

이번 문서는 제목과 짧은 문단으로 구성돼 있으므로 General 모드로 시작하면 됩니다.

설정	이번 실습 권장값	설명
Chunk Mode	General	짧고 구조가 단순한 문서에 사용
Delimiter	문단 구분 기준	각 규정이 서로 섞이지 않도록 분리
Chunk Length	기본값에서 미리보기	한 규정이 지나치게 잘리지 않는지 확인

Preview에서 연차휴가, 병가, 식대처럼 서로 다른 규정이 각각 이해할 수 있는 문장 단위로 나뉘는지 확인합니다.

“야근 식대는 15,000원”과 “7일 이내에 영수증 제출”이 서로 다른 청크로 완전히 분리되면 답변에서 일부 조건이 빠질 수 있습니다. 관련 문장이 함께 남도록 분할 결과를 확인하세요.

⚠️ Chunk Mode는 신중하게 선택하세요
지식베이스를 만든 뒤에는 General과 Parent-child 같은 문서 분할 모드를 변경할 수 없습니다. 미리보기 결과가 좋지 않다면 생성 전에 설정을 수정하세요.

인덱스와 검색 방식 선택하기

이번 실습에서는 질문의 표현이 문서와 정확히 같지 않아도 의미를 이해해 찾을 수 있도록 High Quality 인덱스를 사용합니다.

검색 방식은 처음에는 Vector Search로 시작해도 됩니다. 복잡한 문서와 정확한 단어 검색이 함께 필요할 때는 Hybrid Search를 비교할 수 있습니다.

검색 방식	특징
Vector Search	질문과 문서의 의미가 비슷한 내용을 검색합니다.
Full-Text Search	질문에 포함된 정확한 단어나 표현을 중심으로 검색합니다.
Hybrid Search	의미 검색과 정확한 단어 검색을 함께 활용합니다.

Rerank 모델은 처음에는 사용하지 않아도 됩니다. 검색 결과가 많거나 비슷한 문서가 여러 개일 때 추가로 비교하세요.

4단계. PDF 문서 검색 결과 테스트하기

지식베이스 처리가 완료되면 바로 챗봇을 만들기 전에 검색 테스트를 진행합니다.

지식베이스 왼쪽 메뉴에서 Retrieval Testing을 선택하고 아래 질문을 입력합니다.

연차는 며칠 전까지 신청해야 하나요?
야근 식대는 얼마까지 지원되나요?
택시비는 어떤 경우에 처리할 수 있나요?
병가를 4일 사용하면 어떤 서류가 필요한가요?
12만 원의 비용은 누구의 승인이 필요한가요?

질문마다 관련 규정이 검색 결과의 상단에 나타나는지 확인합니다.

예를 들어 “야근하면서 밥을 먹으면 한도가 얼마인가요?”라고 표현해도 15,000원 식대 규정이 검색된다면 의미 검색이 정상적으로 작동하는 것입니다.

💡 챗봇보다 검색 결과를 먼저 확인하세요
잘못된 문서 조각이 검색되면 AI 모델을 바꿔도 답변이 좋아지기 어렵습니다. 먼저 문서 분할과 검색 결과를 확인한 뒤 챗봇 프롬프트를 조정하는 순서가 효율적입니다.

5단계. PDF 지식 기반 챗봇 만들기

상단 메뉴에서 Studio로 이동한 뒤 새로운 애플리케이션을 만듭니다.

챗봇 생성 순서

① Studio에서 Create Application을 누릅니다.
② Create from Blank를 선택합니다.
③ 앱 유형에서 Chatbot을 선택합니다.
④ 앱 이름을 ‘휴가·비용 규정 안내 챗봇’으로 입력합니다.
⑤ 사용할 대화 모델을 선택합니다.

이번 실습은 문서를 검색해 대화형으로 답하는 기본 구조이므로 복잡한 Workflow보다 Chatbot이 적합합니다.

지식베이스 연결하기

Chatbot 설정 화면에서 Context를 찾은 뒤 Add를 누릅니다.

앞에서 만든 테스트 회사 휴가·비용 규정 지식베이스를 선택하고 추가합니다.

이제 사용자가 질문을 입력하면 Dify가 지식베이스에서 관련 내용을 찾아 AI 모델의 답변에 전달합니다.

문서 내용만 답하도록 프롬프트 작성하기

AI가 일반 지식으로 답하거나 내용을 추측하지 않도록 역할과 제한 조건을 구체적으로 작성합니다.

Dify 챗봇 프롬프트 당신은 ‘IT세상 테스트 회사’의 휴가 및 비용 처리 규정을 안내하는 챗봇입니다.

아래 규칙을 반드시 지키세요.

1. 연결된 지식베이스에서 검색된 문서 내용만 근거로 답하세요.
2. 문서에 없는 내용은 추측하지 마세요.
3. 근거를 찾을 수 없으면 “등록된 규정 문서에서 확인할 수 없습니다.”라고 답하세요.
4. 날짜, 금액, 신청 기한과 승인 조건은 문서에 적힌 내용을 정확하게 사용하세요.
5. 답변은 아래 형식으로 작성하세요.

[결론]
질문에 대한 핵심 답변을 한두 문장으로 작성합니다.

[확인할 조건]
필요한 승인, 서류와 신청 기한을 항목별로 정리합니다.

[안내]
실제 업무에 적용하기 전 담당 부서에 최종 확인하라고 안내합니다.

답변은 친절하고 이해하기 쉬운 한국어로 작성하세요.

프롬프트에 “문서 내용만 답하라”고 작성해도 AI의 잘못된 답변 가능성이 완전히 없어지는 것은 아닙니다. 실제 서비스에서는 질문과 답변 기록을 계속 확인해야 합니다.

출처 표시 기능 켜기

Add Features 또는 추가 기능에서 Citation and Attribution을 활성화합니다.

출처 표시를 켜면 사용자는 답변이 어떤 문서 내용을 참고했는지 확인할 수 있습니다.

규정이나 제품 사양처럼 근거 확인이 중요한 챗봇에서는 출처 표시를 사용하는 것이 좋습니다.

대화 시작 문구 설정하기

사용자가 무엇을 질문해야 할지 쉽게 알 수 있도록 첫 화면 문구를 추가합니다.

안녕하세요. 휴가 및 비용 처리 규정 안내 챗봇입니다.
연차 신청, 병가 서류, 교통비와 식대 처리 기준을 질문해 주세요.

추천 질문도 함께 설정하면 테스트와 실제 사용이 편리합니다.

• 연차휴가는 언제까지 신청해야 하나요?
• 병가를 3일 사용하면 진단서가 필요한가요?
• 야근 식대 한도는 얼마인가요?
• 택시비는 어떤 경우에 신청할 수 있나요?

6단계. Dify 챗봇 답변 테스트하기

화면 오른쪽의 Debug and Preview에서 문서 안에 있는 질문과 없는 질문을 모두 테스트합니다.

테스트 질문	확인할 결과
연차는 언제 신청하나요?	3영업일 전이라는 답변
병가를 4일 사용하면요?	진단서가 필요하다는 답변
야근 식대가 18,000원이면 전액 가능한가요?	한도가 15,000원이라는 답변
출산휴가 규정을 알려주세요.	등록된 문서에서 확인할 수 없다는 답변

문서에 없는 출산휴가 질문에 임의의 규정을 만들어 답한다면 프롬프트의 제한 문구를 더 강하게 작성해야 합니다.

답변은 정확하지만 관련 출처가 표시되지 않는다면 Citation and Attribution 설정과 지식베이스 연결 상태를 다시 확인하세요.

7단계. Dify PDF 챗봇을 웹 앱으로 공개하기

답변 테스트가 끝났다면 오른쪽 위의 Publish를 누릅니다.

화면에 Publish Update가 표시되면 현재 설정을 게시합니다. 이후 생성된 웹 앱 주소를 복사할 수 있습니다.

웹 앱 공개 전 확인 사항

① 테스트용 문서만 연결돼 있는지 확인합니다.
② 챗봇 이름과 설명을 확인합니다.
③ 문서에 없는 질문을 거절하는지 테스트합니다.
④ 출처가 정상적으로 표시되는지 확인합니다.
⑤ Web App Access에서 공개 범위를 확인합니다.
⑥ 사용량과 로그를 주기적으로 확인할 담당자를 정합니다.

웹 앱 주소를 공유하면 사용자는 별도의 프로그램을 설치하지 않고 브라우저에서 챗봇을 사용할 수 있습니다.

홈페이지에 넣어야 한다면 Embed 기능을 사용하거나 API를 이용해 기존 서비스와 연결할 수 있습니다. 처음에는 웹 앱 링크로 소수의 사용자에게 테스트한 뒤 공개 범위를 넓히는 편이 안전합니다.

Dify PDF 챗봇 오류와 답변 품질 개선 방법

문제	확인할 내용
PDF 글자가 제대로 나오지 않음	이미지로 스캔된 PDF인지 확인하고 텍스트 PDF로 다시 만듭니다.
관련 문서를 찾지 못함	Retrieval Testing에서 질문을 입력하고 분할 결과와 검색 방식을 확인합니다.
답변에서 일부 조건이 빠짐	서로 관련된 문장이 다른 청크로 지나치게 나뉘지 않았는지 확인합니다.
문서에 없는 내용을 답함	근거가 없으면 답하지 말라는 프롬프트를 강화하고 검색 결과를 확인합니다.
출처가 표시되지 않음	Citation and Attribution이 켜져 있는지 확인합니다.
모델을 선택할 수 없음	Model Provider 설치, AI 크레딧과 API Key 설정을 확인합니다.
수정 내용이 웹 앱에 반영되지 않음	변경 후 Publish 또는 Publish Update를 다시 실행합니다.

💡 답변 품질을 개선하는 순서
모델부터 바꾸지 말고 PDF 원문 확인 → 청크 확인 → 검색 테스트 → 프롬프트 확인 → 모델 비교 순서로 점검하세요. 문제의 원인을 찾기 쉬워집니다.

무료 방법과 유료 방법의 차이

구분	무료 Sandbox	유료 요금제
추천 목적	학습과 소규모 테스트	실제 사용자 대상 운영
문서 업로드	소수 파일을 나눠 업로드	여러 파일을 한 번에 처리 가능
처리 속도	표준 처리	우선순위가 높은 문서 처리
운영 규모	개인 실습과 내부 검증	문서와 사용자가 많은 서비스

PDF 한두 개로 기본 RAG 구조를 배우는 목적이라면 무료 Sandbox로 충분합니다.

다만 Dify 이용료와 AI 모델 사용료는 구분해야 합니다. 자신의 API Key를 연결하면 질문과 답변, 문서 임베딩 사용량에 따라 모델 공급자 비용이 별도로 발생할 수 있습니다.

Dify PDF 챗봇 실제 활용 사례

직장인과 사내 운영팀

휴가 규정, 비용 처리, 장비 사용법과 업무 절차를 등록해 반복 질문을 줄일 수 있습니다.

학생

강의 자료와 학습 노트를 등록해 시험 범위의 개념을 질문하는 학습용 챗봇을 만들 수 있습니다.

블로그 운영자

작성 규칙, 카테고리 운영 기준과 키워드 자료를 등록해 글 작성 전에 규칙을 확인하는 내부 챗봇으로 활용할 수 있습니다.

개발자

제품 API 문서와 개발 규칙을 지식베이스로 만들고 API를 이용해 기존 서비스에 연결할 수 있습니다.

고객지원팀

제품 설명서, 배송 정책과 환불 기준을 등록해 상담원이 필요한 내용을 빠르게 찾도록 도울 수 있습니다.

Dify PDF 챗봇의 장점

✅ 장점

• 코딩 없이 PDF 문서를 검색하는 챗봇을 만들 수 있습니다.
• 문서 분할과 검색 결과를 화면에서 직접 확인할 수 있습니다.
• AI 모델과 지식베이스를 별도로 변경하고 테스트할 수 있습니다.
• 답변에 참고한 문서 출처를 표시할 수 있습니다.
• 완성된 챗봇을 웹 앱 주소로 빠르게 공유할 수 있습니다.
• API와 웹사이트 삽입 방식으로 확장할 수 있습니다.
• 무료 Sandbox에서 기본 RAG 구조를 학습할 수 있습니다.

Dify PDF 챗봇의 단점과 주의사항

⚠️ 단점 및 주의사항

• 스캔 이미지 형태의 PDF는 글자가 제대로 추출되지 않을 수 있습니다.
• 문서 분할이 잘못되면 필요한 조건이 답변에서 빠질 수 있습니다.
• 지식베이스를 연결해도 AI가 틀린 답변을 만들 가능성이 있습니다.
• 자신의 API Key를 사용하면 모델 비용이 별도로 발생합니다.
• 회사 기밀자료와 개인정보를 업로드할 때 보안 검토가 필요합니다.
• 공개 웹 앱은 예상보다 많은 사람이 접속할 수 있으므로 접근 범위를 확인해야 합니다.
• 규정과 문서가 변경되면 지식베이스도 최신 내용으로 관리해야 합니다.

Dify PDF 챗봇 자주 묻는 질문

Q1. Dify 무료 버전으로 PDF 챗봇을 만들 수 있나요?

무료 Sandbox에서 지식베이스와 Chatbot을 만들 수 있습니다. 남아 있는 AI 크레딧을 사용하거나 자신의 모델 API Key를 연결해야 실제 답변을 생성할 수 있습니다.

Q2. PDF를 한 번에 몇 개까지 올릴 수 있나요?

무료 환경의 일반 파일 업로드는 한 번에 최대 5개, 파일당 최대 15MB로 안내됩니다. 많은 문서를 한 번에 올리는 기능은 상위 요금제에서 제공될 수 있습니다.

Q3. 스캔한 PDF도 사용할 수 있나요?

이미지로만 구성된 PDF는 텍스트가 정상적으로 추출되지 않을 수 있습니다. 먼저 OCR로 글자를 인식시키거나 텍스트가 포함된 PDF로 변환한 뒤 사용하는 것이 좋습니다.

Q4. 문서 내용에만 근거해 답하게 만들 수 있나요?

지식베이스를 연결하고 문서에 없는 내용은 답하지 말라는 프롬프트를 작성할 수 있습니다. 하지만 잘못된 답변 가능성을 완전히 제거할 수는 없으므로 출처 표시와 로그 검토가 필요합니다.

Q5. 만든 챗봇을 블로그나 홈페이지에 넣을 수 있나요?

Dify의 웹 앱을 공유하거나 Embed 기능으로 홈페이지에 삽입할 수 있습니다. 개발자는 API를 이용해 원하는 화면과 서비스에 연결할 수도 있습니다.

마무리

Dify PDF 챗봇을 만드는 과정은 생각보다 복잡하지 않습니다.

먼저 PDF 문서를 지식베이스에 등록하고 문서 분할 결과를 확인합니다. 그다음 검색 테스트에서 질문과 관련된 내용이 제대로 검색되는지 점검합니다.

검색이 정상적으로 작동하면 Chatbot의 Context에 지식베이스를 연결하고, 문서에 없는 내용은 추측하지 않도록 프롬프트를 작성합니다.

마지막으로 출처 표시 기능을 켜고 문서 안의 질문과 문서에 없는 질문을 모두 테스트한 뒤 웹 앱으로 게시하면 됩니다.

가장 중요한 단계는 AI 모델 선택이 아니라 문서와 검색 결과를 확인하는 것입니다. 검색된 근거가 정확해야 AI도 더 안정적인 답변을 만들 수 있습니다.

📌 핵심 한 줄 정리 Dify에서 PDF 지식베이스를 만들고 Chatbot의 Context와 출처 표시 기능을 연결하면 문서를 검색해 근거 있는 답변을 제공하는 RAG 챗봇을 만들 수 있습니다.