이 가이드에서 다룰 내용은요:
- 조각난 데이터: "Garbage In, Garbage Out" AI의 난제
- AI 계층: 에이전트에게 통합된 지식이 왜 필요할까요?
- Knowledge Graph: AI 계층을 위한 데이터 계층
- GraphRAG: 정확한 컨텍스트 기반 AI를 보장해요
- Graph Database: 성능, 유연성, 그리고 더 깊은 통찰력
-
- 필수 GraphRAG
-
소셜 미디어 게시물이 지난주에 제가 봤던 수준의 대화를 만들어낸 적은 거의 없었던 것 같아요. Klarna CEO인 Sebastian Siemiatkowski 님이 했는데, 그의 회사가 GenAI 이니셔티브를 지원하기 위해 Neo4j로 데이터 아키텍처를 혁신하면서 1,200개 이상의 SaaS 애플리케이션을 제거했다는 내용이었죠. 이 주제는 그 이후 제가 가진 거의 모든 회의에서 주요 화제가 되었어요.
Sebastian은 모든 조직이 직면한 과제를 짚어줬어요. 기존 SaaS 애플리케이션은 GenAI에 적합하지 않은 단편화된 데이터 환경을 만들죠. 일부 대화에서는 전통적인 SaaS가 곧 사라질 것이라는 이야기도 나오지만, 꼭 그렇지는 않아요. 하지만 우리는 AI 중심의 미래에 엔터프라이즈 소프트웨어가 구축되고 운영되는 방식에 대한 근본적인 변화의 초기 단계를 목격하고 있는 *거죠*.
저는 Neo4j에서 이러한 변화를 직접 보고 있어요. GenAI로 성공하는 기업은 단순히 기존 시스템을 조정하는 데 그치지 않아요. 기업 데이터가 어떻게 구성되어야 하는지를 완전히 다시 생각하고 있죠. 이 글에서는 연결된 데이터가 기업 AI 성공에 필수적인 이유와 에이전트 시대를 위해 애플리케이션 아키텍처를 어떻게 재구성해야 하는지에 대한 Klarna의 여정에서 얻은 통찰력을 공유할게요.
네, Salesforce는 1년 전에 종료했어요. 다른 SaaS 제공업체들도 많이 종료했는데, 내부 추산으로는 약 1,200개의 SaaS가 종료되었어요.
— Sebastian Siemiatkowski(@klarnaseb)2025년 3월 3일
아니요, 저는 그것이 Salesforce의 종말이라고 생각하지 않아요. 오히려 그 반대일 수도 있죠.
실제로 무슨 일이 있었는지, 그리고 왜 공유하지 않으려고 했는지 (원래 의도)에 대해 설명드릴게요.
단편화된 데이터: "Garbage In, Garbage Out" AI의 난제
"Garbage in, garbage out," Sebastian이 말했듯이, 데이터 과학자들이 오랫동안 믿어온 진리는 AI 시대에도 여전히 유효해요.
이 진실은 제가 기업 리더들과 나누는 거의 모든 대화에서 분명하게 드러나요. 실제로 이들 중 85%는 데이터 품질을 AI 성공의 가장 큰 장애물로 꼽았어요. 가장 발전된 LLM(Large Language Model)조차도 품질이 낮거나 단절되었거나 모순되는 데이터를 극복할 수는 없죠.
문제는 데이터 자체가 나쁜 게 아니라, 얼마나 단편화되어 있는지에 있어요. 대부분의 기업은 CRM, ERP부터 프로젝트 관리 도구, 그리고 맞춤형 애플리케이션까지, 수백 개의 사일로화된 시스템에 정보를 저장하죠. 각 시스템은 자체적인 데이터 모델, 고유한 개념, 그리고 격리된 컨텍스트를 유지하고 있고요.
AI가 이 단편화된 환경을 탐색하려고 할 때, 마치 다른 책에서 임의의 단락을 읽어 이야기를 이해하려고 하는 것처럼 의미 있는 연결을 설정하는 데 어려움을 겪어요. Sebastian이 "분할되고 단편화되고 분산된 기업 데이터의 세계를 LLM에 제공하면 LLM이 매우 혼란스러워질 거예요."라고 완벽하게 표현했죠.
AI 계층: 에이전트에게 통합 지식이 필요한 이유
이러한 단편화 문제는 엔터프라이즈 소프트웨어에서 일어나는 근본적인 변화와 맞닿아 있어요.
Microsoft CEO인 사티아 나델라가 예측했듯이, 전통적인 비즈니스 애플리케이션은 AI 시대에 변화할 것이고, 논리는 여러 데이터 소스에서 작동하는 "AI 계층"으로 전환될 거예요. 더 이상 엄격한 SaaS 앱은 없는 거죠. 대신 AI 에이전트는 실시간으로 도메인 전체의 정보를 동적으로 검색하고 처리해서 엔터프라이즈 소프트웨어를 더욱 적응력 있고 지능적으로 만들어요.
하지만 이러한 혁신이 성공하려면 조직에서는 여전히 데이터 조각화 문제를 해결해야 한다는 걸 깨닫고 있죠. AI 에이전트에게는 데이터 소스에 대한 직접적인 액세스 그 이상이 필요해요. 그들에게는 지식을 연결하는 동적 계층이 필요한 거죠.
테이블 형식의 ETL 파이프라인, 웨어하우스 및 사전 정의된 보기와의 기존 데이터 통합으로는 이 문제가 해결되지 않아요. 기존의 데이터 통합은 알려진 비즈니스 질문에 답하기 위해 설계되었으니까요. 이제 우리는 비즈니스 애플리케이션의 엄격하고 사전 정의된 논리에서 즉석에서 추론하는 자율 에이전트로 전환하고 있어요. 행위적 추론의 힘은 바로 적응성이죠. 특성상 사전에 완전히 예측할 수는 없어요. 에이전트는 다양한 도메인에 걸쳐 데이터를 탐색하고 연결해야 하므로 본질적으로 복잡해요. 에이전트가 실시간으로 효과적으로 추론하려면 데이터 저장소 전체의 정보에 동적으로 액세스하고 이러한 저장소 내외의 관계를 이해하고 해석해야 해요.
관계형 데이터 모델은 비즈니스 도메인 전반에 걸쳐 상호 연결된 데이터를 표현하는 데 필요한 동적 유연성을 제공하는 데 어려움을 겪고 있어요. 일반적으로 대규모의 평면화된 모놀리식 테이블에서 비효율적인 비정규화가 필요하거나 수천 개의 서로 다른 정규화된 테이블에 대해 복잡한 스키마를 유지해야 하므로 데이터 탐색이 엄청나게 어려워지죠.
바로 이럴 때 Knowledge Graph가 등장하는 거예요. Knowledge Graph는 설계에 따라 동적 유연성을 지원하여 AI가 복잡한 다중 도메인 관계를 효율적으로 추론할 수 있도록 도와주죠. Unlike rigid relational models, knowledge graphs provide an adaptive structure that seamlessly incorporates diverse entities and relationships. 이러한 유연성으로 인해 AI 기반 시스템에 이상적이며 서로 다른 데이터 소스에 대한 동적 검색, 상황별 이해 및 더 깊은 통찰력을 지원해요.
Knowledge Graph: AI 계층을 위한 데이터 계층
When Klarna began their GenAI journey, they quickly realized that they needed to fundamentally rethink how their enterprise data was organized. Sebastian은 다음과 같이 설명해요. "Klarna가 무엇인지, 왜 존재하는지, 무엇을 달성하려고 하는지, 어떻게 수행하는지에 대한 모든 형태의 지식을 저장하기 위해 SaaS를 활용하는 것은 이러한 SaaS 시스템에서 단편화되었어요. 대부분은 자체 아이디어와 개념을 갖고 탐색할 수 없는 지식 웹을 생성하죠." This fragmentation severely limited Klarna’s ability to build effective AI solutions that could deliver reliable, contextual responses.
Knowledge Graph는 상호 연관된 데이터를 구성하고 액세스하기 위한 디자인 패턴이에요. Knowledge Graph는 다양한 방식으로 구현될 수 있으며 Neo4j와 같은 Property Graph Database는 이를 관계로 연결된 Nodes로 콤팩트하게 모델링하여 설명 속성을 더욱 풍부하게 할 수 있죠.
그래프는 데이터를 AI에 바로 사용할 수 있도록 세 가지 필수적인 방식으로 만들어 줘요:
- 문맥이 데이터에 내장되어 있어요. relationships와 속성을 통해 AI가 정보를 원활하게 이동할 수 있죠.
- 지식은 자연스럽게 성장하고 진화해요. 방해가 되는 스키마 변경 없이 새로운 쿼리 패턴과 데이터 소스를 신속하게 통합할 수 있어 연결이 증가함에 따라 더 많은 가치를 얻을 수 있어요.
- 체계화된 데이터 모델(온톨로지)은 표준을 유지해요. AI 시스템이 확장됨에 따라 공통 어휘와 일관된 진실 소스를 바탕으로 작동하도록 보장하죠.
마찬가지로 중요한 것은 Knowledge Graph가 실시간 AI에 필요한 성능을 제공하기 위해서는 올바른 데이터베이스가 필요하다는 것이에요. 첫 번째 사용 사례뿐만 아니라 이후 사례에서도 Knowledge Graph의 성능이 크게 달라져요. 이것이 Nadella가 설명하고 Klarna 및 다른 회사가 사용하는 AI 계층에 Knowledge Graph가 필수적인 이유에요. 단편화된 정보를 통합된 상황별 리소스로 매핑하는 연결된 데이터 계층을 만들거든요.
GraphRAG: 정확한 상황별 AI 보장
Knowledge Graph는 AI 지원 데이터의 기반을 만들죠. GraphRAG는 AI 시스템이 해당 지식에 액세스하고 사용하는 방법이에요.
GraphRAG는 그래프 순회와 Semantic Search를 결합하여 LLM에 대한 복잡하고 도메인별 고도로 상호 연결된 지식의 관련 부분을 표면화해요. 이는 GenAI 애플리케이션을 다음과 같이 만들죠.
- 정확해요. Knowledge Graph의 관련 영역 전체에서 완전한 정보를 수집하여 다중 부분 논리와 관련된 질문에 정확하게 답하죠.
- 설명 가능해요. 사람이 읽을 수 있는 방식으로 정보와 그 출처를 식별하기 위해 명시적인 지식 표현을 사용하죠. 그리고
- 관리 가능해요. 사용자와 프롬프트 컨텍스트를 고려하여 검색된 정보를 가장 효과적으로 활용하는 방법을 결정하는 데 도움을 주기 위해 실시간으로 설명 가능한 metadata를 수집함으로써 관리 가능해져요.
Klarna의 AI 비서 Kiki는 GraphRAG를 매일 작동시켜요. LLM을 Neo4j 그래프 데이터베이스에 구축된 Knowledge Graph에 연결함으로써 Klarna는 조직 구조, 프로세스 및 리소스에 대한 직원의 질문에 신속하게 답변하는 시스템을 만들었어요.
Sebastian은 “Kiki는 여러 이질적이고 고립된 시스템에 걸쳐 정보를 통합하고 해당 정보의 품질을 향상시키며 탐색합니다.”라고 설명했어요. 이렇게 조직의 지식을 연결된 형태로 보여주니 정보 흐름이 완전히 바뀌었죠. 는 정말 놀라웠어요:
- Kiki는 하루에 2,000건이 넘는 질문에 답변하고, 출시 이후 25만 건 이상의 직원 쿼리를 처리했어요.
- Klarna 직원의 85%가 시스템을 적극적으로 사용하고 있어요.
- 비기술 팀의 경우 일부 부서에서는 채택률이 93%에 달할 정도예요.
- 일반적인 쿼리에 대한 응답 시간이 몇 분 또는 몇 시간에서 단 몇 초로 단축되었어요.
Sebastian은 그 결과가 “graph와 Neo4j 없이는 이전에는 상상할 수 없었던 방식으로 생산성에 큰 영향을 미치고 있습니다”라고 말했는데요. Klarna의 사례는 Graph Database 기반 시스템이 엔터프라이즈 규모로 배포될 때 얼마나 혁신적인 결과를 가져올 수 있는지 보여주는 좋은 예시죠.
Klarna 이야기가 화제가 되었지만, 이런 변화를 겪고 있는 곳은 Klarna 뿐만이 아니에요. AbbVie나 화이자, 버진 미디어 O2, 그리고 Prospa 같은 회사들도 조직에서 GraphRAG의 가치를 입증하고 있답니다.
호주 최고의 디지털 중소기업 대출업체인 Prospa를 예로 들어볼게요. Prospa는 Neo4j Graph Database에 있는 모든 대출 데이터를 연결하는 Knowledge Graph를 구축했어요. Prospa 팀은 Microsoft Copilot을 사용해서 일반 영어로 질문하고 몇 분 안에 답변을 얻을 수 있게 되었죠. Prospa의 데이터 및 분석 책임자인 Jin Foo는 "우리 회사 누구든 코딩 지식 없이도 깊이 있는 통찰력을 얻을 수 있습니다."라고 말해요. 모든 답변은 출처를 추적할 수 있어서 경영진이 중요한 대출 결정을 내릴 때 필요한 확신을 준다고 하네요.
Graph와 Neo4j 없이는 이전에는 상상할 수 없었던 방식으로 생산성에 큰 영향을 미치고 있습니다.
Graph Database: 성능, 유연성, 그리고 더 깊은 통찰력
기본 Graph Database는 Klarna를 비롯한 여러 회사들이 경험한 Knowledge Graph의 고유하고 필수적인 이점을 제공해요.
- 데이터가 Node와 Relationship에 효과적으로 미리 결합되어 있어서 시간 복잡성이 크게 줄어들기 때문에 훨씬 더 빠른 멀티 홉 Query가 가능해요. 덕분에 데이터 세트가 수십억 개의 Node를 넘어서 증가하더라도 높은 Query 성능을 유지해서 실시간 검색을 위한 에이전트 대기 시간을 최소화할 수 있죠.
- 동적인 Node, Relationship, 그리고 속성을 허용하는 유연한 Schema 덕분에 민첩한 개발이 가능해요. Relationship 구조를 유지하면서 엄격한 Database 제약 조건을 없애기 때문에 Knowledge Graph에 필요한 반복적인 업데이트에 아주 이상적이죠. 게다가 개발자들은 AI 기반 시스템이 발전함에 따라 새로운 데이터 소스를 자연스럽게 통합하고 복잡한 다중 도메인 Relationship을 모델링하는 이점도 누릴 수 있답니다.
- 그래프 데이터 과학: 65개 이상의 고급 분석 및 Machine Learning 알고리즘을 바로 연결된 데이터에 적용해서 더 깊은 통찰력을 얻고 예측할 수 있어요. Neo4j의 그래프 데이터 과학 라이브러리에는 영향력 있는 Node를 식별하기 위한 PageRank, 자연스러운 클러스터를 찾아내기 위한 커뮤니티 감지, 경로 및 흐름 최적화를 위한 경로 찾기 같은 알고리즘이 포함되어 있어요. 이런 기능들을 활용해서 조직은 사기 패턴을 감지하고, 미래의 연결을 예측하고, 추천을 개인화하고, 기존 분석으로는 놓치기 쉬운 숨겨진 통찰력을 발견할 수 있답니다.
GenAI를 위한 SaaS 데이터 통합을 위한 실제 단계
데이터 아키텍처는 AI가 무엇을 이해하고 달성할 수 있는지를 결정해요. 기존 SaaS는 단편화된 데이터를 생성하기 때문에 AI가 필요한 컨텍스트와 연결을 설정하기가 거의 불가능하죠.
하지만 좋은 소식은 가치를 확인하기 위해 모든 것을 다시 디자인할 필요가 없다는 거예요. Graph Database는 점진적인 AI 현대화를 가능하게 해서 기존 시스템과 통합하고 시간이 지나면서 확장할 수 있도록 도와준답니다.
1단계: 현대화할 비즈니스 애플리케이션 식별
핵심 운영에 지장을 주지 않으면서 빠르게 영향력을 발휘할 수 있는, 위험 부담이 적고 가치가 높은 영역부터 시작하세요. 예를 들어 AI가 위키, 프로젝트 관리 도구, 협업 플랫폼에서 정보를 검색해서 응답 정확도를 높일 수 있는 내부 지식 도우미 같은 것들이 있겠죠.
2단계: 데이터 사일로를 무너뜨리기 위한 Knowledge Graph 구축
모든 데이터를 마이그레이션할 필요는 없어요. AI가 정보에 액세스하고, 사용하고, 연결하는 방법을 모델링하는 기존 SaaS 데이터 위에 추상화 계층으로 Knowledge Graph를 시작해보세요. 간단한 메타데이터 그래프(데이터 세트, Schema, 소유자, 컨텍스트, Relationship)로 시작하더라도 엄청난 이점을 얻을 수 있을 거예요.
3단계: GraphRAG를 사용하여 에이전트 워크플로 만들기
Knowledge Graph를 사용해서 AI 에이전트가 기업 지식을 검색하고 추론하는 방법을 안내하세요. 이렇게 하면 AI가 이전에는 격리되어 있던 데이터 전체에서 워크플로를 조율할 수 있도록 도와주면서 정확성, 설명 가능성, 그리고 실시간 상황별 응답을 향상시킬 수 있답니다.
4단계: 점진적으로 확장하여 애플리케이션 통합
초기 사용 사례가 성공하면 통합을 위해 기존 SaaS 애플리케이션 포트폴리오를 평가하고 AI 기반 워크플로의 이점을 누릴 수 있는 인접 애플리케이션을 식별하세요.
예를 들어 고객 서비스 SaaS 애플리케이션을 대체하는 고객 지식 지원으로 시작했다면, 이를 재무 및 거래 시스템으로 확장해서 고객 관계 및 재무 활동 전반에 걸쳐 연결된 뷰를 만들 수 있어요. 거기에서 자연스럽게 제품 데이터를 통합해서 AI 에이전트가 고객, 거래, 제품 전반에 걸쳐 더 깊은 통찰력과 정보에 입각한 비즈니스 결정을 내릴 수 있도록 하는 것이죠.
그래프 기반 아키텍처의 장점은 Knowledge Graph를 설정하면 비즈니스 애플리케이션을 AI 계층에 점진적으로 통합해서 상황을 더 잘 인식하는 적응형 경험을 제공할 수 있다는 점이에요.
다음은 시작하는 데 도움이 되는 리소스예요.
- GraphRAG 선언문: Knowledge Graph와 Retrieval-Augmented Generation을 결합하면 왜 정확하고 설명 가능한 AI가 가능한지 알아보세요.
- Knowledge Graph 빌더: Knowledge Graph를 빠르게 구축하고 실험해 보세요.
- 그래프아카데미: Graph Database의 기본, 그래프 모델링, 그리고 GraphRAG을 배워보세요.
- 그래프 웹 세미나에 대해 알아보세요: 30분 세션에 참여해서 Knowledge Graph가 AI 응답을 어떻게 개선하는지 알아볼까요?
- 그래프 커뮤니티에 가입하세요: 가까운 모임이나 이벤트에 참석하세요!
¹ KPMG AI 분기별 펄스 설문조사: 높은 희망, 높은 장애물, 가치 실현 추구, 2025.
필수 GraphRAG
Knowledge Graph를 통해 RAG의 잠재력을 최대한 활용하세요. 한정된 기간 동안 Manning으로부터 최종 가이드를 무료로 받아보세요.
- SaaS