에이전트 시스템은 인공 지능 진화의 새로운 단계를 나타냅니다. AI 에이전트는 이제 세계에서 탐색하고 행동합니다. 그들의 잠재력은 숨이 막힐 정도로 놀랍지만, 그들이 내포하는 위험도 마찬가지입니다. 환각제는 단순히 누군가의 시간을 낭비하는 것이 아닙니다. 잘못된 티켓을 제출하거나, 잘못된 회의를 예약하거나, 잘못된 청구서를 지불합니다. 모든 AI 전략은 이 안정성 문제를 해결해야 합니다. 이는 이제 엔터프라이즈 AI가 직면한 가장 큰 장애물입니다.
영국의 국립 데이터 혁신 센터(NICD)는 최근 에이전트 신뢰성을 향상하기 위한 두 가지 주요 기술을 비교한 결과 벡터 + 그래프 RAG, 즉그래프RAG, 벡터 전용 RAG보다 훨씬 뛰어난 성능을 발휘합니다. GraphRAG를 사용하는 에이전트는 80% 더 "진실"했으며 토큰을 더 효율적으로 사용하면서 두 배 이상의 질문에 답변했습니다.
이 연구는 Neo4j의 후원을 받았지만 NICD가 독립적으로 수행했습니다.
GraphRAG는 토큰 낭비 없이 정확하고 관련성이 높은 답변을 생성합니다.
NICD는 GraphRAG가 사실 정확도에서 정밀도와 재현율을 모두 향상시키는 동시에 환각을 줄이고 진실성 점수를 향상시키는 것을 발견했습니다. 그리고 벡터 전용 RAG보다 토큰을 더 효율적으로 사용하면서 그렇게 했습니다. 주요 결과를 살펴보겠습니다.
환각 감소
NICD 팀은 "진실성"을 시스템의 정확성과 환각 비율의 차이로 광범위하게 정의했습니다. 그들은 세분화된 진실성 점수를 사용하여 RAG 접근 방식을 평가했는데, 이는 부분적으로 정답을 수용하면서 환각에 불이익을 주었습니다. GraphRAG는 63점을 획득하여 벡터 전용 RAG인 35점을 크게 능가했습니다.
더 정확하고 더 나은 기억력
GraphRAG는 AI 시스템의 사실적 정확성의 정밀도와 재현율을 크게 향상시켰습니다. GraphRAG 구성은 벡터 전용 RAG에만 의존하는 시스템보다 두 배 이상의 정밀도와 재현율을 달성했습니다. (GraphRAG는 정밀도에서 .38 대 .18, 재현율에서 .35 대 .15를 기록했습니다.) 이를 통해 혼합된 거짓양성 및 거짓음성이라는 일반적인 문제가 완화되었습니다.
GraphRAG와 벡터 전용 RAG를 사용하는 에이전트
• 80% 더 진실함
• 질문에 대한 답변이 2배 더 많아졌습니다.
• 환각 감소
• 보다 효율적인 토큰 사용
답변하려는 의지가 더 커짐
벡터 전용 RAG 구현은 보수적인 경향이 있으며 필요한 컨텍스트가 부족할 때 종종 "안전한 거부"(대답을 알 수 없음)를 발행합니다. 벡터 전용 RAG는 복잡한 질문의 28.9%에만 답변하려고 시도한 반면, GraphRAG는 65.3% 이상의 질문에 성공적으로 답변하여 거부율을 절반 이상 줄였습니다.
비용 효율성 향상
GraphRAG 시스템에는 특정 섹션 제목과 정보 상자를 대상으로 할 수 있는 특수 그래프 도구가 포함되어 있으므로 에이전트가 전체 기사를 불필요하게 읽는 것을 피할 수 있습니다. 이는 올바른 결과를 생성하는 데 필요한 토큰 수를 크게 줄여 토큰당 상대적 가치를 높였습니다. GraphRAG 시스템은 매우 정확하고 사실에 기반한 응답에 직접적으로 기여하는 토큰만 소비했습니다.
벤치마크 데이터 세트, 검색 도구, 답변 품질 지표 등에 대한 자세한 내용을 제공하는 전체 NICD 보고서를 읽어볼 가치가 있습니다.
대규모 데이터 프로젝트 투자 없이 에이전트 신뢰성 향상
NICD 연구원들은 Neo4j 지식 그래프를 통해 작동하는 벡터 검색 및 그래프 쿼리 도구를 포함하는 에이전트 시스템을 구축했습니다. 중요한 점은 정교한 수작업 온톨로지를 구축하는 데 몇 주 또는 몇 달이 걸리지 않았다는 것입니다. 그들은 대부분의 기업이 이미 보유하고 있는 종류의 문서로 가벼운 그래프 구조를 구축했습니다.
이 경우 그들은 Wikipedia 기사의 "상당한 비율"의 제목과 섹션 및 이들 간의 링크를 사용하여 조직이 비용과 시간이 많이 소요되는 데이터 프로젝트를 수행하지 않고도 상담원 성과를 향상시킬 수 있음을 입증했습니다.
NICD는 510개의 복잡한 질문에 대해 시스템을 테스트했으며 그 중 일부는 해결하는 데 수십 또는 수백 단계가 필요했으며 까다로운 QA 벤치마크를 사용했습니다(모나코, "더 자연스럽고 복잡한" 질문부터) 시스템 성능을 평가합니다.
연구원들은 시스템이 벡터 데이터베이스, 벡터 및 그래프 데이터베이스에 액세스하거나 둘 다에 액세스하지 않았을 때 시스템의 정확성과 토큰 사용량을 측정했습니다. “강력한 시스템의 목표는 토큰 사용을 최소화하면서 답변의 정확성을 최대화하는 것입니다.”라고 그들은 말합니다.
GraphRAG 및 에이전트 안정성에 대해 자세히 알아보기
GraphRAG는 에이전트 안정성을 보장하고 조직이 AI 투자에 대한 수익을 확인할 수 있도록 돕는 중요한 도구가 되었습니다. GraphRAG는 지식 그래프와 벡터 검색을 결합하여 에이전트에게 보다 정확하고 관련성이 높으며 설명 가능한 결과를 위한 심층적인 컨텍스트 및 다중 홉 추론을 제공합니다.
벡터 데이터베이스만으로는 AI 에이전트에 대한 엔터프라이즈급 안정성을 보장할 수 없는 이유와 GraphRAG가 필요한 정확성을 제공하는 방법을 알아보려면 다음을 살펴보십시오.이 설명 영상.
GraphRAG의 구성요소에 대한 자세한 내용을 보려면 다음을 읽어보세요.이 게시물.
GraphRAG가 실제 데이터 문제를 해결하는 방법에 관심이 있다면 다음 사용 사례 비디오를 확인하십시오.
- 사기 탐지를 위한 GraphRAG
- 공급망 탄력성을 위한 GraphRAG
- 고객 인텔리전스를 위한 GraphRAG
- 제조용 GraphRAG
- 의료 AI용 GraphRAG
- 법률 AI용 GraphRAG