GenAI 그래프 수집 2.0: GraphRAG의 진화

확장 법칙은 정체될 수 있지만 GenAI는 줄어들지 않았어요. 엔지니어들은 어디에서나 무엇이 작동하고 어떻게 유용하게 만들 수 있는지 알아내느라 바빴죠. GraphRAG, 즉 Knowledge Graph와 Retrieval-Augmented Generation (RAG)이 결합된 기술은 다양한 기술로 발전해 왔고, 연구 논문과 소프트웨어 통합도 활발하게 이루어지고 있어요.

이 점을 염두에 두고 두 번째 GenAI 그래프 모임을 준비했고, 그래프와 LLM의 교차점에서 일하는 뛰어난 분들을 초대했어요. 목표는 GraphRAG 주변에서 일어나는 많은 일에 대한 메모를 파악하고 비교하는 것이었답니다.

회고전: 5월부터 지금까지

5월 첫 번째 GenAI 그래프 모임 이후 GraphRAG의 타임라인이에요 (완전하진 않지만요!).

처음에 GenAI 그래프 모임에서 GenAI 애플리케이션이 세 가지 주요 버킷의 소스 데이터를 사용하는 것을 관찰하면서 검색을 위해 Knowledge Graph를 사용하는 방법을 탐색했었죠.

1. 텍스트 파일 또는 PDF의 구조화되지 않은 데이터
2. 기존 데이터베이스의 구조화된 데이터
3. 두 가지가 결합된 혼합 데이터

여름 동안 개발자와 기업의 관심이 엄청나게 증가했어요. 프로젝트는 "PDF로 채팅" 또는 "CSV로 채팅"과 같이 구조화되지 않았거나 구조화된 데이터로 시작하는 경향이 있었죠. 하지만 첨단 기술이 앞으로 나아갈 길을 제시했음에도 불구하고 많은 사람들이 파일럿 단계에서 정체되었어요.

개념 증명 이상의 일을 할 수 있었던 사람들의 공통점은 무엇이었을까요? 저희 경험에 따르면 비정형 데이터와 정형 데이터 사이에 더 강력한 연결이 있어서 혼합 데이터의 최적 지점에 도달하는 것 같았어요.

GenAI 개념 증명 노력 중 71%는 구조화되지 않은 데이터만 사용할 때 멈춘다고 해요. PoC를 통과한 3분의 1은 더 구조화된 비즈니스 데이터로 시작하거나 통합했대요.

학문적 이론을 실제 실무로 전환하는 건 정말 어려운 일이죠. 그래서 저희는 몇 가지 일을 하기로 결정했어요:

• 패턴 카탈로그를 큐레이팅해서 연구 논문에서 정보를 추출하는 거예요.
• 검증된 접근 방식을 와 라이브러리로 구현하는 거죠.
• 동료들과 만나서 도움이 될 만한 다른 게 뭐가 있는지 알아보는 거예요.

Gathering 행사에서 저희는 Knowledge Graph 구성, GraphRAG 기술, 그리고 실제 경험에 중점을 두고 그룹 토론을 진행했어요.

GraphRAG 시작하기

여러분 모두 Vector Embedding이 뭔지 이미 알고 있고, RAG 약어가 뭔지도 설명할 수 있는 AI 엔지니어라고 가정해 볼게요. 그럼 가장 좋은 시작 방법은 뭘까요?

공유 노트 내용을 한번 살펴볼까요:

• 기술 전반에 걸친 병렬 비교
• 연결된 데이터와 결과 프롬프트를 포함해서 답변을 생성하는 데 사용된 전체 컨텍스트를 공개하는 것
• 그래프 시각화는 데이터와 스키마에 대한 "아하!" 모먼트에 정말 중요해요.
• Knowledge Graph 구성, 자동 마법과 손으로 직접 선별하는 것 사이의 균형을 맞추는 데 도움을 주는 것
• 세 가지 방향: 1) 모든 소스에 대한 일반적인 도구 기반 워크플로, 2) 잘 알려진 심층적인 예시로서 구체적인 "Northwind" Knowledge Graph, 3) 다양한 예시를 위한 독립 실행형 노트북

 

시작에 대한 대화를 확장한 또 다른 세션에서는 개발자 경험이라는 더 넓은 주제를 고려했어요.

공유 노트에서:

• 대부분의 사람들은 비정형 데이터로 시작하는 반면, GraphRAG는 정형 또는 혼합 데이터로 시작한다는 점
• 일반적인 RAG는 도메인에 구애받지 않지만, GraphRAG는 도메인에 따라 달라진다는 점
• "고급 RAG"는 GraphRAG의 첫 번째 단계로 이해될 수 있으며, 도메인에 대해 상대적으로 독립적이라는 점
• 템플릿으로 해결할 수 있는 "콜드 스타트" 또는 "빈 캔버스" 문제가 있다는 점
• 올바른 GraphRAG 접근 방식은 도메인별로 다르다는 점. 지침과 예시가 필요하다는 점
• 광범위한 일반 비즈니스 문제를 다루는 "7개의 그래프"(자세한 내용은 추후 제공)
• 고전적인 객체 지향 디자인 패턴과 같은 공통 참조로 사용되는 GraphRAG 패턴 카탈로그

Knowledge Graph 엔지니어링

Knowledge Graph는 요약이 포함된 덩어리진 텍스트만큼 단순할 수도 있고, 전체 기업에 대한 통합 뷰만큼 포괄적일 수도 있는 전체 정보 아키텍처에요. 데이터 엔지니어링과 마찬가지로 Knowledge Graph에도 데이터 준비, 변환, 모델링 및 평가가 모두 필요하죠.

그룹은 Knowledge Graph의 혼합을 고려했어요.

• CSV 또는 JSON과 같은 구조화된 데이터에서 매핑된 도메인 그래프
• 구조화된 데이터에서 매핑된 긴 형식의 텍스트가 포함된 도메인 그래프
• 제품 카탈로그나 매뉴얼과 같은 잘 알려진 문서 컬렉션에서 파생된 알려진 구조의 어휘 그래프
• 알려진 용어에 따라 명명된 개체 인식(NER)을 사용하여 검색된 구조가 포함된 어휘 그래프
• NER과 구조화된 데이터를 결합하여 알려진 구조와 발견된 구조를 모두 포함하는 어휘 그래프
• 개방형 NER를 사용하여 완전히 발견된 구조를 갖는 어휘 그래프

온톨로지: 계획은 무엇인가요?

온톨로지는 단순히 해당 속성과 이들 간의 관계를 보여주는 주제 영역의 개념 및 범주 집합이에요. 원한다면 이걸 그래프 스키마라고 불러도 괜찮아요.

공유 노트에서:

• 스키마는 상호 운용성, 설명 가능성, 접지에 도움이 된다는 점
• 엔터티 추출 및 비정형 데이터와 정형 데이터 간의 정렬에 유용하다는 점
• 완전하고 형식적인 온톨로지는 부담스러울 수 있다는 점. GraphRAG에 대한 더 간단한 형식이 있을까요?
• 비정형 데이터와 일치하도록 카탈로그의 기존 스키마를 자동으로 선택할 수 있다는 점
• 엄격하게 정확하고 사용하기 쉬운 균형을 맞추는 게 중요하다는 점
• 스키마는 상호 운용성, 설명 가능성, 접지에 도움이 된다는 점

 

정보 검색을 위해 그래프를 사용하는 다양한 기술을 탐구하는 연구가 정말 활발하게 진행되고 있어요.

공유 노트 내용을 한번 살펴볼까요:

• 연구에는 상황별 검색, 쿼리 중심 요약, 텍스트-암호화, 계층형 메모리, 그래프 기반 재순위 지정, 하이브리드 index, GNN 등이 포함돼요.
• GNN과 그래프 데이터 과학은 정확성을 강화하고 개선하는 데 도움을 줄 수 있어요.
• 그래프는 소스 정보, 메모리, 보안 제약 조건, 정보 검색을 위한 안내 경로를 나타낼 수 있어요.
• 가장 큰 과제는 "올바른" 일이 사용 사례에 따라 다르다는 점이에요.

 

GenAI 그래프 수집은 조직 간 협업을 위한 특별한 기회였어요. 당장의 목표는 P2P 연결이었지만, 장기적으로는 각 참여자가 자신의 길에서 성공하고 궁극적으로 모든 사람이 GraphRAG의 혜택을 받는 것이죠.

RAG의 'R'에 그래프를 사용하는 GraphRAG는 정말 다양한 접근 방식과 기술로 계속 발전하고 있어요. 다행히 모든 것을 다 알 필요도 없고, 한 번에 모든 걸 다 할 필요도 없다는 거죠. 그래프는 보기 좋게 구성되어 있잖아요. 그래프로 생각하는 방식, 즉 멘탈 모델에는 준비된 범위까지 확장되는 몇 가지 개념이 있어요. ML 모델부터 애플리케이션 워크플로, 디스크의 데이터 스토리지까지 그래프가 될 수 있죠. 아니면 단순히 텍스트 덩어리들을 서로 연결하고, 문서들을 연결하는 것만큼 간단할 수도 있고요.

최소 실행 가능한 그래프로 시작해보세요. 데이터를 더 추가하고, 풍부하게 만들고, 연결하고, 계속 반복하는 거예요!

• 그래프RAG

---

에이치시스템즈의 LogTree는 Neo4j 기반 GraphRAG 플랫폼으로, 데이터를 자동으로 지식그래프화하고 자연어 질의로 즉시 답을 제공합니다.

👉 에이치시스템즈 홈페이지