엔터프라이즈 MDM을 위한 그래프 기술: Neo4j와 GraphRAG의 활용

• Cypher & GQL

편집자 주: 이 프레젠테이션은 Aaron Wallace가 2016년 10월 GraphConnect San Francisco에서 발표한 내용이에요.

프레젠테이션 요약

현대 기업은 고객에 대한 완전한 360도 뷰를 확보해서 수익을 창출해야 하죠. 이를 위해서는 엔터프라이즈 마스터 데이터 관리(MDM)를 통해 다양한 소스의 데이터를 통합하는 게 중요해요.

이번 GraphConnect 프레젠테이션에서 Aaron Wallace는 단일 고객 뷰에 대한 기업 내 메타데이터 및 마스터 데이터 접근 방식을 소개합니다. 특히 Wallace는 Pitney Bowes Software가 설계한 Spectrum 플랫폼의 강력한 성능을 보여주는데요.

Spectrum을 뒷받침하는 건 Pitney Bowes의 접근 방식과 비전인 고객 정보 관리의 진화입니다. 이러한 발전은 우편 주소 처리, 일치, 중복 제거에서 시작되었어요.

향후 30년 동안 이는 데이터 품질, 분석, ETL 프로세스 및 Natural Language Processing을 포함하도록 변경되었어요. Wallace는 다음 단계는 Knowledge Graph의 힘을 활용해서 고객이 기업 조직과 어디에서 어떻게 상호 작용하는지에 관계없이 고객에 대한 360도 뷰를 제공하는 것이라고 믿고 있죠.

Wallace는 고객 정보를 마스터하는 것을 새로운 비즈니스 원칙으로 보고 있고, Pitney Bowes는 Neo4j를 선택했는데, 그 이유는 Schema-less 데이터 모델, 연결된 데이터로 확장하는 능력, 데이터 품질을 보호하는 능력 때문이라고 해요.

데이터에 대한 이러한 유연성과 새로운 접근 방식은 수많은 고유한 교차 업종의 Spectrum 플랫폼 사용 사례를 만들어 냈어요. 예를 들어 판매 최적화, Fraud Detection, 자금 세탁 방지(AML) 및 고객 지원 등이 있죠.

전체 프레젠테이션: 기업 마스터 데이터 관리를 위한 그래프 기술

오늘 이야기할 내용은 Pitney Bowes에서 기업 정보 및 메타데이터 관리를 위해 개발한 솔루션이에요.

단일 고객 보기 및 메타데이터 관리

저희는 와 직접 협력하고 있고, Spectrum 플랫폼을 사용하고 있어요. 이 플랫폼에 대한 개요와 메타데이터 관리를 위해 그래프 기술을 선택한 몇 가지 이유를 설명해 드릴게요.

많은 분들이 메일링 솔루션으로 Pitney Bowes를 들어보셨을 텐데요. 저희 회사는 100년이나 된 회사고, 사업의 2/3는 분류 기계, 저울, 계량기 같은 우편 관련 하드웨어를 다루고 있어요.

저는 Pitney Bowes Software Solutions 부문에서 일하고 있는데, 회사의 성장 엔진으로 여겨지는 곳이죠. 개인화된 판매를 위해 단일 고객 뷰를 관리하고, 운영 비용을 절감하며, 규정 준수를 최적화하는 팀에서 일하고 있어요.

저희가 중요하게 생각하는 시장 진출 전략은 고객에 대한 단일 뷰를 만드는 건데요. 이건 마스터 데이터 관리(MDM) 유스 케이스의 핵심이기도 해요.

단일 뷰를 통해 조직 전체에서 고객에 대한 관련성 높고 신뢰할 수 있는 모든 정보에 액세스할 수 있어서 효과적인 비즈니스 결정을 내릴 수 있게 되죠. 단순히 그래프 기술의 힘뿐만 아니라, 정보가 신뢰할 만한지 확인하는 데 필요한 주변 기능도 중요해요.

고객 정보 관리의 진화

고객 정보 관리를 바라보는 관점은 시간이 지나면서 계속 발전해 왔어요.

지난 30년 동안 정말 많은 발전이 있었죠.

저희가 처음 이 사업을 시작했을 때는 메인프레임에서 대규모 일괄 작업을 통해 주소를 처리하고, 일치시키고, 중복을 제거하는 게 전부였어요. 하지만 요즘은 고객 데이터 품질을 위한 엔터프라이즈 수준의 기능이 중요해졌죠.

그래서 일괄적으로 실행하는 것뿐만 아니라, 웹 서비스를 통해 운영할 수 있는 능력도 필요해요. 단일 뷰에서 데이터를 통합하려면 다양한 시스템과 통합할 수 있어야 하고요.

위 차트의 빨간색 표시는 현재 고객 정보 관리의 위치를 나타내는데요. 바로 이 지점에서 저희가 Knowledge Graph 개념을 구상하고 Neo4j와 파트너십을 시작하게 된 거예요.

관련된 다른 기능으로는 비정형 데이터, Natural Language Processing, 그리고 이걸 기업의 데이터 소스로 처리하는 것 등이 있어요. 상황 관리를 중심으로 이러한 상황이 발전하고 있다는 걸 알 수 있죠. 고객이 항공사, 소매업체, 은행, 보험 회사 같은 조직과 연락할 때, 대화 상대를 실제로 이해하고 해당 상호 작용의 맥락을 이해할 수 있어야 해요. 저희는 고객 정보를 마스터하는 것을 새로운 비즈니스 원칙으로 보고 있답니다.

여러 도메인에 걸쳐 데이터를 마스터링할 때는 위에서 아래로 데이터를 추진해야 해요. 그리고 이런 솔루션을 출시하는 방법과 저희가 볼 수 있는 위치에는 많은 이점이 있는데, Graph Database 기술이 정말 빛을 발하는 부분이죠.

다음은 시간이 지남에 따라 단일 고객 뷰가 어떻게 변화하는지 보여주는 그림이에요.

오랫동안 존재해온 기본 역량은 개인의 핵심 프로필에 관한 것이에요. 결국 이는 사용자가 볼 수 없기 때문에 고립되어 있는 데이터의 집합일 뿐이죠. 관련 관계가 중요해요.

다음 단계는 자신이 소유한 제품이 무엇인지, 소셜 네트워크에 있는 다른 사람들과의 관계 또는 조직 계층의 일부인지 등 이러한 관계를 이해하는 것이에요. 첫 번째 원에서 두 번째 원으로의 도약은 우리가 Neo4j와의 파트너십을 통해 가능해졌죠.

다음 레벨에서는 상호 작용이 추가돼요. 지원 데스크에 전화를 걸거나 웹 상호 작용, 소셜 미디어 상호 작용 등을 단일 보기로 통합하고 싶을 때, 궁극적으로 이 모든 것은 비즈니스를 위한 효과적인 전략을 추진하고 수익에 영향을 미칠 수 있는 고객 중심 통찰력을 지향해야 해요.

왜 Neo4j인가?

우리가 Neo4j와 파트너십을 맺게 된 데에는 몇 가지 주요 설계 원칙이 있었어요. 데이터 구조는 기업 전체에 존재하는 데이터의 가치를 이끌어내는 열쇠라는 점이죠.

모든 규모의 기업은 단일 고객 보기를 위해 수백 개의 데이터 소스를 통합해야 하며, 이를 위해서는 민첩한 개발을 지원하는 기술이 필요해요.

그렇지 않으면 결국에는 관계형 데이터베이스(RDBMS) 모델을 중심으로 설계된 경쟁 기술을 갖게 될 텐데, 이는 운영 민첩성을 방해하죠. 그래프는 스키마가 없으므로 놀라울 정도로 민첩하며, 전체 내용을 전달하고 확장성이 뛰어난 데이터 연결을 제공할 수 있어요.

관계형 모델을 완전히 포기하자고 제안하는 것은 아니지만, 실제로는 대규모 문제로 어려움을 겪고 있어요. 예를 들어, 소셜 네트워크에서 "친구의 친구"를 찾기 위한 쿼리를 작성하는 것은 코딩 및 SQL 관점에서 볼 때 엄청나게 복잡하죠.

또한 RDBMS 데이터 모델은 처음부터 질문을 알아야 하는 제한된 데이터 보기를 제공해요. 그래프 기술은 진화하는 동적 패러다임에 훨씬 더 적합하며 단일 고객 보기 사용 사례의 핵심인 다차원 보기를 구동할 수 있게 해줘요.

6년 전 우리는 대부분 데이터 품질 공급업체였지만, 매우 혼잡하고 주요 엔터프라이즈 소프트웨어 공급업체가 많이 포함되어 있는 MDM 시장에 진출하고 싶었어요. 우리는 이미 나와 있는 것과는 다른 뭔가를 해야 했고, 그래프 기반 MDM 솔루션을 최초로 출시했죠.

우리는 Neo4j가 원래 Java 기반이었고 핵심 플랫폼 아키텍처에 잘 맞았기 때문에 선택했어요. 여러 운영 체제에서 실행되고, 성능이 매우 뛰어나죠. Neo4j는 ACID 트랜잭션 제어를 제공하는데, 이는 운영 및 트랜잭션 MDM 시스템에 관해 이야기할 때 핵심이에요. Neo4j는 시장 선두주자이고요. 또한 이러한 쿼리 인터페이스 중 일부를 실시간 시스템으로 운영하고 끌어오는 기능을 제공해서, 고객과 통화하면서 관계와 연결된 데이터 중 일부를 실시간으로 확인할 수 있어요.

Neo4j는 MDM 솔루션의 일부로서 훌륭하지만 퍼즐의 한 조각일 뿐이에요. 에 무언가를 저장했다가 갑자기 마스터 데이터 관리 솔루션을 갖게 될 수는 없죠. 이를 데이터 품질, ETL 및 분석 기능으로 둘러싸야 해요. 이 모든 기능은 우리가 Spectrum이라고 부르는 플랫폼을 제공하는 것이죠.

Spectrum의 기능 중 일부는 다음과 같아요.

일치, 주소 유효성 검사, 단일 필드에서 결합된 데이터 구문 분석 등 대부분의 기능은 데이터 품질과 관련이 있어요. 이 모든 기능은 Neo4j 데이터베이스를 마스터 데이터 저장소로 채우기 전에 설정할 수 있는 기능들이죠.

최근에는 그래프에서 가상으로 `Query`하는 기능을 추가해서 다른 시스템에 연결되는 가상 `Node`를 설계할 수도 있게 되었어요. 이는 MDM을 사용하여 레지스트리 패턴을 더 많이 지원하는 방식인데요. 다시 말하지만, 모든 데이터 소스를 한 번에 가져올 필요가 없기 때문에 민첩한 프로세스에 적합하답니다. 특정 데이터 비트를 중앙 집중화하고 일부 데이터를 가상으로 저장해서 훨씬 더 반복적인 방식으로 진행할 수 있는 거죠.

데이터 분석을 활용하는 건 통찰력과 전략을 추진하는 데 핵심이에요. 이를 수행할 수 있는 방법은 여러 가지가 있는데, "내 가장 많은 지출을 한 사람은 누구입니까?"와 같은 고전적인 집계가 그 예시죠. 그리고 “예측적 관점에서 볼 때 그들은 어떤 종류의 구매 성향을 가지고 있습니까?” 와 같은 질문도 던질 수 있고요.

저희는 또한 이를 분석 프로세스에 통합하기 위한 핵심 지리 공간적 기능 세트도 갖추고 있어요. 그래프 기술로 가장 잘 답할 수 있는 질문은 “네트워크 내 영향력을 어떻게 이해할 수 있을까요?” 와 “나에게 가장 영향력 있는 고객은 누구일까요?” 같은 것들이죠. 이걸 고객이 지출한 금액에 대한 정보와 결합하면 타겟 마케팅을 위한 적절한 목록이 완성될 거예요.

추천 시스템은 일반적으로 Neo4j 및 `Graph Database` 기술에도 매우 적합하답니다.

스펙트럼 플랫폼의 사용 사례

저희는 현재 Spectrum에 대한 다양한 사용 사례를 연구하고 있어요.

이러한 사용 사례의 대부분은 영업, 마케팅 또는 고객 지원의 효율성 향상 등 전략적 혁신을 추진하기 위해 고객 단일 관점을 중심으로 이루어졌어요. 이는 모두 각 업종 내에서 해결하는 주요 사용 사례들이죠.

우리 고객 중 하나는 여기 미국의 금융 서비스 회사인데, Spectrum을 사용하여 웹에서 완전히 디지털화된 프로세스를 출시하기 위한 단일 뷰를 만들고 있어요. 업계에서 그래프 기반 기술을 사용하는 것은 이번이 처음이며 현재 여러 도메인에 걸쳐 마스터하려는 다른 프로젝트의 엔터프라이즈 표준으로 이를 채택하고 있답니다.

`Graph Database`는 또한 매우 강력해서 사기 탐지에 많이 쓰여요. 대부분의 금융 서비스 고객은 끊임없이 변화하는 규정을 준수해야 하죠. 자금세탁방지(AML)도 그 중 하나고요. 따라서 저희는 그다지 명확하지 않은 `Relationship`을 찾아내고 돈세탁 시나리오를 전파하기 위해 설정된 가짜 고객을 탐지하기 위해 이 기능을 통합한 고객도 있답니다.

또한 교차 판매 기회를 촉진하기 위해 솔루션 라이선스를 부여하는 자동차 제조업체인 소매 EMEA 고객도 있어요. 영업팀 구성원은 고객이 실제 위치에 들어올 때 고객을 효과적으로 식별하는 데 어려움을 겪고 있었죠. 이 문제를 해결하기 위해 그들은 Neo4j 기반 기능인 데이터 허브를 통합했고 이제 판매 시점에서 해당 정보 중 일부를 공개하고 통합할 수 있게 되었답니다.

Spectrum 및 MDM의 다음 단계

Forrester는 Spectrum을 마스터 데이터 관리 부문의 리더로 꼽았다고 해요.

"MDM: 리더" 아래 인용구를 보면, 모델링, 유연성, 구현 용이성, 가치 실현 시간 단축 등 그래프 기술과 직접적으로 연결되어 있다는 걸 알 수 있어요. 다시 말해, Neo4j를 다른 기능들로 감싸는 게 MDM 사용 사례를 효과적으로 해결하는 방법이라는 거죠.

앞으로 저희는 Graph Database 기술을 물리적 데이터 저장소뿐만 아니라 엔터프라이즈 메타데이터 추적을 위한 저장소로도 활용할 계획이에요. 그리고 그래프 기술 영역에 발을 들여놓으면, 여기저기서 그래프가 보이기 시작할 거예요.

예를 들어, 어떤 조직이든 기업 정보의 레이아웃을 살펴보면 수백 개의 데이터 소스, 워크플로, 데이터 품질 규칙, 거버넌스 규칙, 사용자, 보고서, 대시보드, 그리고 모니터링 시스템이 존재하죠. 열 이름 변경의 영향을 분석하거나 보고서 필드에서 원래 소스로의 데이터 계보를 추적하고 싶을 때, 바로 그래프가 필요해요. 순회 기능과 Semantic 정보로 태깅하는 기능은 엔터티 모델링에도 정말 유용하답니다.

• 고객 정보 관리
• GraphConnect
• MDM
• 단일 고객 보기

---

에이치시스템즈의 LogTree는 Neo4j 기반 GraphRAG 플랫폼으로, 데이터를 자동으로 지식그래프화하고 자연어 질의로 즉시 답을 제공합니다.

👉 에이치시스템즈 홈페이지