RAG(Retrieval-Augmented Generation): 정확한 정보 제공을 위한 AI 기술

💡들어가며

최근 AI 기술의 발전으로 ChatGPT와 같은 대형 언어 모델(LLM)이 놀라운 정보 생성 능력을 보여주고 있습니다. 하지만 이러한 모델들은 종종 잘못된 정보를 생성하는 '환각(Hallucination)' 현상을 보이기도 합니다. 이런 문제를 해결하기 위해 등장한 기술이 바로 RAG(Retrieval-Augmented Generation)입니다. RAG는 외부 지식 데이터베이스에서 관련 정보를 검색하여 AI의 응답을 보강함으로써 더 정확하고 신뢰할 수 있는 결과를 제공합니다. 특히 건강과 영양 분야에서는 정확한 정보 제공이 매우 중요하기 때문에, RAG 기술의 활용 가치가 매우 높습니다.

---

I. RAG의 배경 및 필요성

일반 목적 언어 모델의 한계

환각(Hallucination) 문제

• BERT, BART, GPT, T5 같은 일반 목적 언어 모델들은 대규모 말뭉치(corpus)에서 학습한 지식을 파라미터에 저장하지만, 종종 사실과 다른 정보를 생성합니다.
• 특정 업무에 특화된 모델보다 성능이 낮을 수 있습니다.
• 모델의 지식 기반이 제한적이며, 학습 데이터 이후의 정보는 알 수 없습니다.

자동 회귀(Auto-Regression) LLM 모델의 특성

• 이전 단어를 보고 가장 높은 확률의 다음 단어를 예측하는 방식으로 작동합니다.
• 문맥에 따라 다양한 답변을 생성할 수 있습니다.
• 학습한 정보에 해당이 없더라도, 학습 방식을 기준으로 그럴듯한 답변을 생성하기도 합니다.

검색 모델(Non-parametric method)

• 모델 외부에서 접근할 수 있는 지식 데이터베이스를 활용하는 방법입니다.
• 질문에 대해 적절히 답변하기 위해 Wikipedia와 같은 외부 지식을 가져와 활용합니다.
• 정보 검색 작업에서 좋은 성능을 보입니다.

두 접근 방식의 비교:

Parametric (파라미터 기반)	Non-parametric (비파라미터 기반)
대규모 말뭉치로 많은 양의 지식 학습	외부 지식 데이터베이스 접근 가능
파라미터 확장, 수정, 해석이 어려움	파라미터 확장, 수정, 해석 가능
BART, GPT-3처럼 생성에 특화됨	BM25, 검색 엔진처럼 검색에 특화됨

 

---

II. RAG(Retrieval Augmented Generation)의 개요

RAG는 사용자 질문에 관련된 정보를 외부 문서에서 검색하고, 그 결과를 언어 모델에 전달하여 생성한 응답을 사용자에게 제공하는 방식입니다.

RAG의 주요 구성 요소

• Retriever: 파라메트릭 접근의 단점인 외부 지식을 참조하여 사실에 가까운 정보를 검색합니다.
• Generator: 비파라메트릭 접근의 장점인 대규모 말뭉치 학습을 통해 다양한 형태의 답변을 생성합니다.

RAG의 작동 방식은 아래 그림과 같습니다:

 

 

이 과정에서 Retriever는 사용자 질문과 관련된 문서를 외부 지식 데이터베이스에서 찾아내고, Generator는 검색된 정보를 바탕으로 자연스러운 응답을 생성합니다.

III. RAG 모델의 구조

Retriever 모델

Retriever 모델은 일반적으로 Bi-Encoder 방식을 사용합니다:

• 입력 시퀀스 x와 여러 후보 문서 y 사이의 유사도를 계산하여 가장 관련성 높은 문서를 찾아냅니다.
• 두 개의 독립적인 BERT 인코더로 구성되어 있습니다.
• 질문과 문서를 각각 별도의 BERT에 입력하여 임베딩을 생성합니다.
• 두 임베딩 간의 내적(dot product)을 통해 유사도 점수를 계산합니다.
• 가장 높은 점수를 받은 문서가 선택됩니다.

Generator 모델

Generator는 검색된 문서와 질문을 결합하여 최종 응답을 생성합니다:

• BART나 GPT-3와 같은 생성 모델을 사용합니다.
• 여러 검색 결과(Passage)를 참조하여 확률적으로 가장 적절한 응답을 선택합니다.
• 검색된 정보를 바탕으로 자연스러운 문장을 구성합니다.

IV. RAG 실제 구현 예시

RAG를 실제로 구현하는 과정은 다음과 같습니다:

1. 문서 준비 및 처리

저는 PubMed에서 특정 단어로 검색된 논문의 abstract들을 'abstracts'라는 폴더에 txt 파일 형태로 저장해두어, 이 폴더에서 문서를 load 하였습니다.

loader = DirectoryLoader('abstracts', glob="*.txt", loader_cls=TextLoader)
documents = loader.load()

text_splitter = RecursiveCharacterTextSplitter(chunk_size=1000, chunk_overlap=200)
texts = text_splitter.split_documents(documents)

이 코드는 문서를 1000자 단위로 나누고, 중복을 위해 200자씩 겹치게 설정합니다.

2. 임베딩 생성 및 벡터 데이터베이스 저장

persist_directory = 'db'
embedding = OpenAIEmbeddings()
vectordb = Chroma.from_documents(
    documents=texts,
    embedding=embedding,
    persist_directory=persist_directory)

vectordb.persist()
vectordb = None

vectordb = Chroma(
    persist_directory=persist_directory,
    embedding_function=embedding)

OpenAI의 임베딩 모델을 사용하여 문서를 벡터화하고, ChromaDB에 저장합니다.

3. Retrieval-Generator 모델 구축

qa_chain = RetrievalQA.from_chain_type(
    llm=OpenAI(),
    chain_type="stuff",
    retriever=vectordb.as_retriever(),
    return_source_documents=True)

def process_llm_response(llm_response):
    result = llm_response['result']
    source_info = []
    for source in llm_response["source_documents"]:
        pubmeid = source.metadata['source'].replace(".txt","").split("_")[0].replace('abstract','')
        article_type = " ".join(source.metadata['source'].replace(".txt","").split("_")[1:])
        source_info.append(f'Sources: {pubmeid}\nArticle Type: {article_type}')
    return result, '\n\n'.join(source_info)

이 코드는 RetrievalQA를 설정하고, 응답과 함께 출처 정보를 함께 제공하도록 합니다.

영양 및 건강 관련 예시 쿼리

python query = "Recommend diet foods for management of hypertension in adults." 

llm_response = qa_chain(query) process_llm_response(llm_response)

'Foods that may help manage hypertension in adults include fruits and vegetables, whole grains, low-fat dairy products, lean proteins, and nuts and seeds. Foods to avoid or limit include foods high in salt, saturated fat, and sugar.'

 

'Source PMID: 16003449 Source PMID: 19583632' 

---

python query = "Is 25-hydroxyvitamin D good for obese men?" 

llm_response = qa_chain(query) process_llm_response(llm_response)

'This study suggests that weight loss is associated with a marginally improved vitamin D status. Additional studies in unsupplemented individuals are needed to confirm these findings, but it may be beneficial for obese men to consider weight loss as a way to improve their vitamin D status.'

 

'Source PMID: 27604772' 

 

IV. 결론 🎯

RAG(Retrieval-Augmented Generation) 기술은 AI 언어 모델의 한계를 보완하는 효과적인 방법입니다. 특히 건강과 영양 분야와 같이 정확한 정보가 중요한 영역에서는 더욱 가치가 있습니다. RAG는:

• 환각(Hallucination) 문제를 줄이고 사실에 기반한 응답을 제공합니다.
• 최신 정보에 접근할 수 있어 모델의 지식 한계를 극복합니다.
• 근거 출처를 제시하여 응답의 신뢰성을 높입니다.
• 영양 상담, 식단 추천, 건강 정보 제공 등 다양한 헬스케어 애플리케이션에 활용할 수 있습니다.

앞으로 더 발전된 RAG 기술은 개인 맞춤형 영양 상담, 의학 정보 검색, 건강 관리 안내 등 헬스케어 분야에서 중요한 역할을 할 것으로 기대됩니다.

---

참고 문헌:

• Lewis, P., Perez, E., Piktus, A., Petroni, F., Karpukhin, V., Goyal, N., ... & Kiela, D. (2020). Retrieval-augmented generation for knowledge-intensive NLP tasks. Advances in Neural Information Processing Systems, 33.
• Izacard, G., & Grave, E. (2021). Leveraging passage retrieval with generative models for open domain question answering. Proceedings of the 16th Conference of the European Chapter of the Association for Computational Linguistics.
• Karpukhin, V., Oguz, B., Min, S., Lewis, P., Wu, L., Edunov, S., ... & Yih, W. T. (2020). Dense passage retrieval for open-domain question answering. Proceedings of the 2020 Conference on Empirical Methods in Natural Language Processing (EMNLP).