GraphRAG: Neo4j GenAI 활용하여 구현해보기

💡들어가며

인공지능 기술의 발전과 함께 건강 및 영양 정보의 접근성이 크게 향상되고 있습니다. 오늘은 그래프 데이터베이스 Neo4j와 생성형 AI를 결합한 GraphRAG(Retrieval-Augmented Generation)를 통해 어떻게 더 정확하고 맥락이 풍부한 영양 정보를 제공할 수 있는지 알아보겠습니다. 특히 한국인 영양소 섭취기준 2020을 바탕으로 한 사례를 중심으로 이 기술이 가진 가능성을 탐색해 보겠습니다.

---

I. Neo4j GenAI의 이해

Neo4j GenAI는 그래프 데이터베이스 구축을 통한 생성형 AI 활용을 도와주는 파이썬 패키지입니다. 이 도구는 OpenAI와 Neo4j 드라이버를 연결하여 지식 그래프를 기반으로 한 고품질의 AI 응답을 가능하게 합니다.

https://neo4j.com/generativeai/

Neo4j GenAI의 주요 특징

Neo4j GenAI는 벡터 검색, 지식 그래프, 데이터 사이언스를 통합하여 다음과 같은 장점을 제공합니다:

• 높은 정확도의 응답 생성
• 풍부한 맥락 정보 제공
• 깊은 설명 가능성(explainability) 확보

이러한 특징들은 영양 정보와 같이 정확성과 맥락이 중요한 분야에서 특히 가치가 있습니다. 영양소 간의 복잡한 관계와 건강 상태에 미치는 영향을 그래프 구조로 표현함으로써 더 명확한 정보 전달이 가능해집니다.

# OpenAI 연결 예시
import os
os.environ["OPENAI_API_KEY"] = "sk-your-api-key"

# Neo4j 드라이버 연결 예시
from neo4j import GraphDatabase

# Neo4j에 연결
uri = "bolt://localhost:7687"  # Neo4j Bolt URL
user = "neo4j"                # Neo4j 사용자 이름
password = "password"         # 비밀번호

driver = GraphDatabase.driver(uri, auth=(user, password))

---

II. 영양 데이터의 GraphRAG 구현 과정

1. 소스 문서 준비 및 텍스트 청크 분할

이번 프로젝트에서는 '한국인 영양소 섭취기준 2020(다량영양소)'를 소스 문서로 활용했습니다. 이 자료에는 에너지, 탄수화물, 식이섬유, 단백질, 지질 등 주요 영양소에 대한 권장 섭취량과 관련 정보가 포함되어 있습니다.

문서 처리 과정은 다음과 같습니다:

• PDF 형식의 원본 문서를 마크다운으로 변환
• 텍스트를 '\n\n'을 기준으로 문단 단위로 분할
• 각 청크의 길이를 2000자로 제한하여 관리 가능한 크기로 조정
• 표 형식의 데이터는 마크다운 형식으로 변환하여 구조화된 정보 보존

처리 단계	설명
소스 문서 수집	한국인 영양소 섭취기준 2020 PDF 확보
형식 변환	PDF에서 마크다운으로 변환
텍스트 청킹	문단 기준 분할 및 길이 제한 적용

2. 텍스트 청크에서 엔티티 인스턴스 추출

분할된 텍스트 청크에서 의미 있는 정보를 구조화하기 위해 LLM(Large Language Model)을 활용하여 엔티티, 관계, 주장(claim)을 추출합니다. 이 과정에서 Neo4j에서 제공하는 템플릿을 한국어로 수정하고, 영양 분야에 특화된 지시사항을 추가했습니다.

특히 다음과 같은 영양 관련 추가 고려사항을 반영했습니다:

https://neo4j.com/docs/neo4j-graphrag-python/current/api.html

• 영양소의 분류체계(다량영양소/미량영양소 등) 고려
• 영양소 간의 상호작용 관계 파악
• 연령대별/성별 권장섭취량 정보
• 건강상태와의 관련성

class KoreanNutritionTemplate:
    def __init__(self):
        self.base_prompt = """당신은 지식 그래프 구축을 위해 정보를 추출하는 최고 수준의 알고리즘입니다.

입력된 텍스트나 표에서 다음 정보를 추출해주세요:
1. 엔티티(노드) 추출 및 유형 지정
2. 엔티티 간의 관계 파악
3. 각 노드별 고유 ID 할당
4. 노드와 관계에 대한 관련 속성 포함

표 형식 데이터를 처리할 때는 특히:
1. 열 제목과 값에서 주요 엔티티 식별
2. 표 구조를 기반으로 관계 결정
3. 표 제목과 맥락을 고려하여 엔티티 유형 결정

# 스키마와 출력 형식
사용할 스키마: {schema}

다음 JSON 형식으로 결과를 반환해주세요:
{{
  "nodes": [{{
    "id": "문자열",
    "label": "엔티티유형",
    "properties": {{}}
  }}],
  "relationships": [{{
    "type": "관계유형",
    "start_node_id": "문자열",
    "end_node_id": "문자열",
    "properties": {{}}
  }}]
}}

주의사항:
- 고유한 ID를 할당하고 관계 정의에 재사용
- 스키마에 정의된 노드와 관계 유형만 사용
- 관련된 모든 속성 포함
- JSON 형식으로만 출력

예시: {examples}

입력: {text}"""
    def format(self, schema='', text='', examples=''):
        has_table = bool(re.search(r'(❙표\s+\d+❙|<table>)', text, re.MULTILINE))
        
        if has_table:
            prompt = f"{self.base_prompt}\n텍스트와 표 모두에서 정보를 추출해주세요."
        else:
            prompt = self.base_prompt
            
        return prompt.format(schema=schema, text=text, examples=examples)
    def add_domain_specific_instructions(self, domain_type='영양학'):
        """도메인별 특화 지시사항 추가 메서드"""
        if domain_type == '영양학':
            self.base_prompt += """
            
영양학 관련 추가 고려사항:
- 영양소의 분류체계 (다량영양소/미량영양소 등)
- 영양소 간의 상호작용 관계
- 연령대별/성별 권장섭취량
- 건강상태와의 관련성
            """

def split_by_paragraphs(text, max_chars=2000):
    paragraphs = re.split(r'\n\n(?!<)', text)
    chunks = []
    current = ""
    
    for p in paragraphs:
        if len(current) + len(p) < max_chars:
            current += p + "\n\n"
        else:
            chunks.append(current.strip())
            current = p + "\n\n"
    if current:
        chunks.append(current.strip())
    return chunks

def extract_and_process_tables(md_text):
   chunks = split_by_paragraphs(md_text, max_chars=2000)   
   processed_chunks = []
   for chunk in chunks:
       tables = re.findall(r'<table>.*?</table>', chunk, re.DOTALL)
       processed_chunk = chunk
       
       for table in tables:
           soup = BeautifulSoup(table, 'html.parser')
           df = pd.read_html(StringIO(str(soup)))[0]
           markdown_table = df.to_markdown()
           processed_chunk = processed_chunk.replace(table, markdown_table)
           
       processed_chunks.append(processed_chunk)
       
   return '\n\n'.join(processed_chunks)

def estimate_cost(text):
    input_tokens = len(text) // 4
    expected_output_tokens = 1000 
    
    input_cost = input_tokens * 0.03 / 1000 
    output_cost = expected_output_tokens * 0.06 / 1000 
    total_cost = input_cost + output_cost
    
    return input_tokens, expected_output_tokens, total_cost

def process_er_extraction(text):
    template = KoreanNutritionTemplate()
    llm = OpenAILLM(model_name="gpt-4o", model_params={"temperature": 0})
    
    chunks = split_by_paragraphs(text)
    total_cost = sum(estimate_cost(chunk)[2] for chunk in chunks)
    
    if input(f"예상 비용: ${total_cost:.2f}, 진행? (y/n): ").lower() != 'y':
        return []
    
    responses = []
    for chunk in chunks:
        processed = preprocess_and_process_tables(chunk)
        prompt = template.format(text=processed)
        responses.append(llm.invoke(prompt).content)
    
    return responses

3. Neo4j에 데이터 스키마 확인

추출된 엔티티와 관계는 Neo4j 그래프 데이터베이스에 저장됩니다. 영양 데이터를 위한 주요 노드 타입과 관계는 다음과 같습니다:

• 노드 타입: 영양소(Nutrient), 식품(Food), 건강상태(HealthCondition), 연령대(AgeGroup) 등
• 관계 타입: HAS_NUTRIENT(함유하다), DECREASES_RISK_OF(위험을 감소시킨다), BELONGS_TO(속한다) 등

이러한 구조는 '어떤 식품이 어떤 영양소를 함유하고 있으며, 그 영양소가 어떤 건강상태에 영향을 미치는가'와 같은 복잡한 관계를 표현할 수 있게 합니다.

4. Text2CypherRetriever 구현

사용자의 자연어 질문을 Neo4j에서 실행할 Cypher 쿼리로 변환하는 기능은 GraphRAG의 핵심입니다. 이를 위해 데이터베이스 스키마와 함께 few-shot learning을 위한 예시들을 프롬프트에 포함시켰습니다.

예시적인 자연어 쿼리 변환 사례:

# Text2CypherRetriever 초기화
retriever = Text2CypherRetriever(
    driver=driver,
    llm=llm,
    neo4j_schema=neo4j_schema,
    examples=examples,
)

# 사용자 쿼리 처리
query_text = "20대 여성을 위한 칼슘이 풍부한 식단 추천해줘."
search_result = retriever.search(query_text=query_text)

# 생성된 Cypher 쿼리 확인
print(search_result.metadata['cypher'])

# 결과: MATCH (a:AgeGroup)-[:HAS_INTAKE]->(n:NutrientIntake), 
#      (g:Gender)-[:HAS_AGE_GROUP]->(a), (f:Food)-[:HAS_NUTRIENT]->(n)
#      WHERE a.age_range = '20-29' AND g.gender = 'Female'
#      RETURN f.name LIMIT 10

이 방식을 통해 사용자의 질문은 자동으로 데이터베이스 쿼리로 변환되어 관련 노드 정보를 추출하고, 이를 기반으로 더 정확한 답변을 제공할 수 있습니다.

---

III. 결과와 한계점

결과 확인

실제 데이터베이스 구현에서는 영화 데이터를 활용한 테스트 케이스에서 좋은 결과를 확인할 수 있었습니다. 예를 들어 "Titanic과 비슷한 장르의 영화 추천해줘"라는 쿼리에 대해 장르 기반의 관련 영화 목록을 정확히 도출했습니다.

그러나 현재 영양 데이터 구현에서는 그래프 데이터베이스에 영양 정보가 최적의 스키마로 적재되지 않아 일부 쿼리에서 기대한 결과를 얻지 못하는 한계가 있었습니다.

한계점과 개선 방향

현재 구현의 주요 한계점과 향후 개선 방향은 다음과 같습니다:

• 영양 데이터의 복잡성을 더 잘 반영할 수 있는 그래프 스키마 설계 필요
• 한국어 영양 용어에 최적화된 엔티티 추출 템플릿 개선
• 영양소 간의 상호작용과 같은 복잡한 관계를 더 효과적으로 표현할 방법 모색
• 다양한 사용자 질문 패턴을 포괄할 수 있는 few-shot 예시 확장

IV. 결론 🎯

GraphRAG를 활용한 Neo4j GenAI 구현은 영양 정보와 같은 복잡한 지식 영역에서 맥락이 풍부하고 정확한 정보 제공의 가능성을 보여줍니다. 특히 영양소 간의 관계, 식품과 건강 간의 연관성과 같은 복잡한 정보를 그래프 구조로 표현함으로써 단순한 키워드 검색이나 일반 AI 응답보다 더 의미 있는 정보를 제공할 수 있습니다.

현재의 한계에도 불구하고, 이 접근 방식은 개인화된 영양 권장사항, 특정 건강 상태에 맞는 식단 계획, 영양소 상호작용에 대한 심층적 이해와 같은 다양한 응용 가능성을 제시합니다. 앞으로 더 정교한 데이터 모델링과 최적화된 쿼리 변환을 통해 영양 및 건강 분야에서 더욱 가치 있는 도구로 발전할 수 있을 것입니다.

---

참고 문헌:

• 한국인 영양소 섭취기준 2020, 보건복지부·한국영양학회
• Neo4j for GenAI 공식 문서, https://neo4j.com/docs/genai/
• Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks, Lewis et al. (2020)