[AWS] Bedrock과 Knowledge Base

AI foundation model을 쉽게 사용할 수 있는 AWS의 완전 관리형 서비스

 

📌 핵심 특징

1. FMs (Foundation Models)

지원 모델: Amazon(Nova, Titan), Anthropic(Claude), Deepseek, Meta(Llama), A21 Labs(Jamba) 등

FM은 대규모 데이터로 미리 훈련된 AI 모델들을 뜻한다. 

Bedrock을 통해 다양한 벤더의 모델들을 제공받을 수 있으며, 하나의 통합된 API로 여러 모델을 사용할 수 있다.

여러 모델 간 테스트 및 비교를 통해 나에게 가장 적합한 모델을 선택한다. 

보안 걱정 없이 안전하게 사용 가능하다.

 

2. 서버리스

Bedrock은 서버리스 서비스이므로, 인프라 관리가 필요 없다. 빠르게 AI 서비스를 구축할 수 있다. 

기존 AI 모델 운영 방식	Bedrock 서버리스
1. EC2 생성 (GPU 서버) 2. AI 프레임워크(Pytorch) 설치 3. 모델 파일 다운로드 (수십 GB) 4. Flask, FastAPI 서버 구축 5. 로드밸런서 설정 6 스케일링 설정 및 서버 장애 대응	1. API 키 발급 2. 코드 작성 3. 바로 사용 ➡️ 비즈니스 로직에 집중

3. 커스텀 가능

• Fine-tuning: 내 데이터로 모델을 더 정교하게 훈련
• RAG(Retrieval Augmented Generation): Knowledge Base(지식기반. ex 내 데이터베이스)를 활용해 답변하는 프로세스
  • Bedrock에서의 지식 기반: AWS 관리형 서비스로 제공
  • Bedrock이 문서를 청킹, 벡터화, 인덱싱 → 제공한 검색엔진을 통해 관련 문서를 FM에게 전달 → FM이 문서를 읽어 답변 생성
• 실제 업무를 처리하는 에이전트 구축 가능
• 복잡한 인프라 설정 없이 AWS 툴을 사용해 어플리케이션에 쉽게 통합 가능

 

---

📌 Bedrock으로 할 수 있는 주요 작업

1. 프롬프트 실험

같은 질문(프롬프트)을 여러 모델에게 테스트.

"우리 제품의 마케팅 문구를 만들어줘"
- Claude 모델 답변: "혁신적인 기술로 당신의 일상을 변화시킵니다"
- GPT 모델 답변: "새로운 경험, 무한한 가능성을 열어드립니다"

2. 지식 기반을 활용해 답변 강화

필요한 데이터를 업로드함으로써 지식 기반을 생성한다. 

3. 에이전트 생성

FM을 사용하고, API를 호출하고, 지식 기반에 쿼리하며 문제를 단계적으로 해결하는 에이전트 생성.

4. 모델 훈련

내 업무에 특화된 AI로 만들기 위해 FM을 커스텀 및 추가 학습을 시킨다.

방법은 두 가지로, fine-tuning 혹은 continued pre-training을 한다. 

 

 

---

📌 Bedrock Knowledge Base

FM의 한계: 일반적인 지식만 보유
RAG: 제공하는 데이터를 사용해 응답의 정확성을 향상시킬 수 있는 기술.
Bedrock 지식 기반을 사용하면, 자체 RAG 기반 어플리케이션을 구축할 수 있다. 

 

Bedrock 지식 기반의 기능

1. 정보 검색 및 응답: 지식 기반이 데이터를 검색하고 쿼리에 관련성 높은 응답을 리턴한다.

2. 프롬프트 강화: 반환된 관련 정보를 프롬프트에 추가한다. 

3. 출처 인용: 원본 데이터 소스를 참조할 수 있도록 인용을 포함한다. 

4. 시각적 리소스가 포함된 문서 처리 가능: 모델이 이미지를 바탕으로 추가적인 인사이트 제공

5. 자연어를 데이터베이스에 맞춤화된 쿼리로 변환: 이 쿼리를 통해 데이터를 검색한다.

6. 실시간 데이터 업데이트: 데이터 소스의 변경사항을 업데이트하고, 업데이트된 정보에 즉시 액세스 가능

7. Agent 워크플로우에 지식 기반을 포함할 수 있다. 

 

지식 기반의 4단계 구축

1️⃣ 벡터 저장소 설정

전제: 지식 기반을 구조화되지 않은 데이터 소스에 연결하는 경우.

지원되는 벡터 저장소: Amazon OpenSearch Serverless, Amazon OpenSearch Service Managed Clusters, Amazon Aurora (RDS), MongoDB Atlas 등

A. 직접 설정: 지원되는 벡터 저장소를 직접 설정해 데이터의 벡터 임베딩 표현을 인덱싱함

B. 자동 설정: 베드락이 Opensearch의 서버리스 벡터 저장소를 자동 생성. 

2️⃣ 데이터 소스 연결

• 비구조화 데이터 소스: PDF, Word, 텍스트 파일 등
• 구조화 데이터 소스: RDS 데이터베이스 등

3️⃣ 데이터 소스를 지식기반과 동기화

업로드된 데이터를 지식 기반에서 검색 가능한 형태로 변환

4️⃣ 어플리케이션 or 에이전트 설정

사용자 질문이 들어왔을 때, 다음 기능을 수행하도록 설정한다. 

A. 관련 소스 반환: 지식기반을 쿼리하고 관련 소스 반환

B. 자연어 응답 생성: 지식기반을 쿼리하고 검색된 결과를 기반으로 자연어 응답 생성

C. 쿼리를 구조화된 데이터 언어별 쿼리(예: SQL 쿼리)로 변환

 

 

 

---

참고

https://docs.aws.amazon.com/bedrock/latest/userguide/what-is-bedrock.html

What is Amazon Bedrock? - Amazon Bedrock

https://docs.aws.amazon.com/bedrock/latest/userguide/knowledge-base.html

Retrieve data and generate AI responses with Amazon Bedrock Knowledge Bases - Amazon Bedrock

https://docs.aws.amazon.com/bedrock/latest/userguide/knowledge-base-setup.html

Prerequisites for using a vector store you created for a knowledge base - Amazon Bedrock