Amazon Bedrock으로 간단한 RAG 생성해 보기

Amazon Bedrock을 활용해 간단한 RAG 시스템을 구축해 봤습니다.
2026.03.30
안녕하세요 클래스메소드 김재욱(Kim Jaewook) 입니다. 이번 블로그에서는 Amazon Bedrock을 활용해 간단한 RAG 시스템을 구축해 봤습니다.
 RAG?RAG는 Retrieval-Augmented Generation의 약자로 AI가 모르는 내용을 외부 자료를 찾아 답하게 만드는 방식을 의미합니다. RAG가 필요한 이유는 기본 LLM(GPT등)에는 몇 가지 문제가 있습니다.
최신 정보 모름
회사 내부 문서 모름
이로 인해 잘 못된 정보를 유저에게 공유
이를 해결하기 위해 AI에게 문서(DB, PDF, 노션 등)를 전달해 AI는 이 문서를 바탕으로 답변을 생성합니다.
예를 들면 RAG가 없다면 다음과 같은 답변이 올 것입니다.
Q: 우리 회사 환불 정책 뭐야?
AI: 일반적으로 환불 정책은… (틀릴 가능성 높음)
RAG가 있다면 내부 문서를 가져와 분석 후 답변을 합니다.
Q: 우리 회사 환불 정책 뭐야?
AI: 환불은 구매 후 7일 이내 가능합니다
RAG 시스템은 보통 다음과 같이 구성됩니다.
문서 저장소 (PDF, DB 등)
임베딩 모델
벡터 DB (검색용)
LLM (답변 생성)
AWS에서는 Amazon Bedrock 하나로 해결할 수 있습니다.
 사전 준비RAG 시스템을 구축하기에 앞서 AI에게 줄 문서가 필요합니다.
example.txt 파일에 다음 문서 내용을 넣어줍시다.

※ 가상 회사의 사내 운영 메뉴얼입니다.
# ABC Tech 사내 운영 매뉴얼 (Internal Policy v1.0)

## 1. 회사 기본 정보

* 회사명: ABC Tech
* 설립연도: 2021년
* 주요 서비스: SaaS 기반 업무 관리 플랫폼

---

## 2. 근무 시간 정책

* 기본 근무 시간: 오전 9시 ~ 오후 6시
* 점심 시간: 12시 ~ 1시
* 유연 근무제:

  * 출근: 오전 8시 ~ 10시 사이 선택 가능
  * 퇴근: 출근 시간 기준 9시간 후

---

## 3. 휴가 정책

* 연차 휴가: 연 15일
* 반차: 0.5일 단위 사용 가능
* 병가:

  * 연 최대 10일
  * 3일 이상 시 진단서 필요

---

## 4. 재택근무 정책

* 주 2회까지 가능
* 사전 승인 필수
* 긴급 상황 시 추가 허용 가능

---

## 5. 환불 정책 (고객 대상)

* 구매 후 7일 이내: 100% 환불 가능
* 7일 이후: 환불 불가
* 단, 서비스 장애 발생 시 예외적으로 환불 가능

---

## 6. 보안 정책

* 모든 직원은 2단계 인증(2FA)을 사용해야 함
* 외부 저장장치 사용 금지
* 회사 데이터는 승인된 클라우드에만 저장

---

## 7. IT 자원 사용 정책

* 개인 용도의 과도한 사용 금지
* 불법 소프트웨어 설치 금지
* 회사 계정 공유 금지

---

## 8. 문의 및 지원

* IT 지원: [it-support@abctech.com](mailto:it-support@abctech.com)
* 인사팀: [hr@abctech.com](mailto:hr@abctech.com)

---

## 9. 징계 규정

* 보안 위반: 1차 경고, 2차 정직
* 무단 결근: 3회 시 해고 가능

---

## 10. 기타

* 본 정책은 2026년 1월 1일부터 적용
* 회사 정책은 필요 시 변경될 수 있음
이렇게 만든 메뉴얼을 S3 버킷에 업로드하면 사전 준비는 끝입니다.
 지식 기반(Knowledge Base) 생성Amazon Bedrock 콘솔 화면에서 지식 기반 → 생성 → 벡터 저장소가 포함된 지식 기반을 클릭합니다.
지식 기반 이름과 IAM 권한은 디폴트 값으로 진행합니다.
메뉴얼을 S3 버킷에 업로드 했으므로 Amazon S3를 선택합니다.
데이터 소스 이름도 디폴트 값으로 진행합니다. 그리고 데이터 소스 위치는 [이 AWS 계정]을 선택하고 S3 URI는 다음과 같이 지정합니다.
s3://S3버킷명/example.txt
example.txt를 업로드한 경로에 맞춰서 지정해 줍시다.

마지막으로 구문 분석 전략은 Amazon Bedrock 기본 파서를 선택합니다.
모델은 Titan Text Embeddings V2  v2.0를 선택합니다.
백터 저장소는 Amazon S3를 선택합니다.
여기까지 진행했다면 이제 본격적으로 지식 기반(Knowledge Base)을 생성할 수 있습니다.

Knowledge Base는 RAG 시스템의 핵심으로, S3에 업로드한 문서를 AI가 검색하고 활용할 수 있도록 구조화해주는 역할을 합니다.
Bedrock에서는 Knowledge Base를 만들 때 몇 가지 옵션을 선택하게 되는데, 각 옵션은 문서 처리 방식, 검색 효율, 답변 정확도 등에 영향을 줍니다.

여기서는 상세한 옵션 설명은 생략하겠지만, 직접 생성 과정을 진행하면서 선택지를 확인해보고, 필요에 따라 가장 적합한 설정을 선택하는 것을 추천합니다.
 RAG 테스트이제 지식 기반(Knowledge Base)을 생성했다면 테스트를 진행합니다.
먼저 생성된 지식 기반(Knowledge Base)에서 동기화를 클릭하면 이미지와 같이 지식 기반 테스트 버튼이 표시됩니다. 해당 버튼을 클릭합니다.
이어서 검색 전용과 검색 및 응답 생성에서 검색 및 응답 생성을 선택합니다.
검색 전용은 S3에서 문서 찾기만 하고, 답변은 만들어주지 않습니다. 즉 “관련 문서 조각만 반환” 합니다. 반면 검색 및 응답 생성은 문서를 검색하고 AI가 답변을 생성해 줍니다. 모델은 가장 무난한 Claude를 선택했습니다.
마지막으로 질문을 던져보면 문서를 참고해 답변하는 것을 확인할 수 있습니다.
이렇게 구축한 RAG 시스템은 다른 서비스와 결합하면 더욱 강력하게 활용할 수 있습니다. 예를 들어, 사내 문서 검색 챗봇, 고객 지원 자동 응답 시스템, PDF 기반 QA 서비스 등 다양한 환경에 바로 적용할 수 있습니다.
 마무리이번 글에서는 AWS Amazon Bedrock을 활용해 간단한 RAG 시스템을 구축하는 방법을 살펴보았습니다.

S3에 문서를 업로드하고, Knowledge Base를 생성한 뒤, 실제 질문을 던져보면서 AI가 문서 기반으로 정확한 답변을 생성하는 과정을 직접 확인했습니다.

이 과정을 통해 단순한 LLM 활용을 넘어, 내부 데이터나 사내 문서를 기반으로 실무에 바로 적용할 수 있는 AI 서비스를 설계할 수 있다는 점을 체험할 수 있었습니다.
구축한 RAG 시스템은 단독으로도 유용하지만, 사내 문서 검색 챗봇이나 고객 지원 자동화, PDF 기반 질의응답 등 다양한 환경에 연계하면 훨씬 강력한 도구가 됩니다.

특히 API와 웹 서비스와 결합하면, 사용자 질문에 실시간으로 답변을 제공하거나, 문서 기반 정보를 자동으로 정리하는 등의 확장된 활용이 가능해집니다.
이번 실습을 통해 얻은 가장 큰 경험은 AI를 실제 데이터와 결합했을 때의 강력함입니다. 단순한 생성형 AI를 사용하는 것을 넘어서, 실제 비즈니스 문서와 연결해 정확하고 신뢰할 수 있는 답변을 제공하는 시스템을 만들어낼 수 있다는 점이 큰 의미가 있습니다.
마지막으로, 여러분도 이번 실습을 기반으로 RAG 시스템을 적극적으로 활용해보길 권장합니다. 작은 문서 하나에서 시작해 점점 Knowledge Base를 확장하고, 다양한 서비스와 연동하다 보면, AI 기반 업무 자동화와 정보 검색의 가능성을 직접 체험할 수 있을 것입니다.