Neo4j, Snowflake AI Data Cloud에 고속 Identity Resolution 기능 제공

조각난 기록을 통합 ID 인텔리전스로 변환

대규모로 소비자 데이터를 다루는 회사에게 신원 확인은 정말 풀기 어려운 문제 중 하나일 거예요. 간단해 보이지만, 조각난 데이터 포인트(예: 이메일 주소, 장치 ID, 실제 주소)를 가져와서 각 개인에 대한 하나의 정확한 프로필에 연결해야 하거든요. 하지만 실제로는 엄청난 양의 데이터 때문에 상당한 비즈니스 과제가 생기죠.

그런데 Snowflake용 Neo4j Graph Analytics와 신원 서비스 제공업체인 Audience Acuity가 대규모 신원 확인 문제를 성공적으로 해결했어요. 24개의 서로 다른 소스와 91개의 개별 데이터 피드에 걸쳐 38억 개의 기록을 처리해서, 빠르고 정확하게 소비자에 대한 포괄적이고 통합된 뷰를 생성할 수 있게 된 거죠. 이 규모에서는 정확성을 유지하는 것이 중요한 경쟁 우위가 된다는 점, 잊지 마세요!

기존 데이터베이스가 벽에 부딪히는 이유

정체성 해결의 핵심 과제는 근본적으로 관계 문제라는 데 있어요.

단일 소비자는 스프레드시트에 깔끔한 행으로 존재하지 않잖아요. 연결의 웹과 같죠. 다양한 플랫폼에 걸쳐 이메일 3개, 집 주소 2개, 장치 4개를 가질 수도 있고요. 기존 관계형 데이터베이스에서 이러한 점들을 연결하려면 대규모 테이블 전체에 걸쳐 "JOIN" 작업을 해야 해요.

"Neo4j 이전에는 그래프 규모 ID 클러스터링을 실행하는 것이 느리고 비용이 많이 들고 운영상 부담이 컸어요. 이제 우리는 일부 인프라만 사용해서 24시간 이내에 수십억 개의 관계를 처리하고 있죠."

Benjamin Squire, 데이터 과학자, Audience Acuity

Audience Acuity는 이전에는 이 데이터 스티칭 작업을 위해 제3자 공급업체에 의존했었어요. 프로세스는 느리고 비용이 많이 들었고, 변경 사항에 대한 처리 시간은 몇 주나 걸렸죠. 수십억 규모의 이러한 작업은 종종 시스템 시간 초과 및 데이터 이동이 분석보다 어려운 "데이터 중력" 문제로 이어지기도 했고요.

데이터가 있는 곳에서 그래프 분석 실행

Audience Acuity가 Neo4j Graph Analytics를 Snowflake AI 데이터 클라우드 환경과 직접 통합하면서 획기적인 발전이 있었어요.

민감한 데이터를 안전한 Snowflake 환경에서 별도의 사일로로 이동하는 대신, 데이터에 대한 분석을 수행했죠. This architecture eliminates the need for duplicate infrastructure and fragile data pipelines.

정체성 문제를 해결하기 위해 Audience Acuity는 WCC(Weakly Connected Components) 알고리즘을 활용했어요. 이 그래프 기반 접근 방식을 사용하면 식별자(예: 이름 또는 생년월일)가 소스 전체에서 일관되지 않거나 모호한 경우에도 시스템이 관련 레코드를 단일 ID로 자동으로 클러스터링할 수 있어요. 그래프 기술은 복잡한 다대다 관계를 매우 빠른 속도로 탐색할 수 있도록 설계되었거든요.

몇 주에서 몇 시간으로

• 대규모 규모: 38억 개의 원시 레코드가 통합 ID 그래프로 처리되었어요.
• 깊은 연결성: 데이터 신호 간에 매핑되는 20억 개의 *edges* (*관계*).
• 정밀도: 약 5억 개의 고유하고 검증된 ID가 생성되었죠.
• 속도: 24시간 이내에 End-to-End 처리가 완료돼요.
• 민첩: 예전에는 몇 주가 걸렸던 변경 요청이 이제 2~3일 안에 완료된다는 사실!
• 비용 효율성: 전용의 개별 시스템을 유지하는 대신 기존 Snowflake 컴퓨팅을 활용해서 오버헤드를 줄였어요.

 

고성능 기반을 갖춘 Audience Acuity는 단순한 해상도를 넘어서고 있어요. 이제 유사 모델링과 고급 고객 세분화를 탐색하고 있죠. ID 그래프를 사용해서 잠재 관심과 행동 패턴을 파악함으로써 개인이 누구인지 뿐만 아니라 데이터에 있는 개인의 근본적인 동기를 밝힐 수 있다는 점, 정말 흥미롭죠?

동일한 결과를 얻기 위해 대규모 마이그레이션이 필요하지 않아요. 이러한 수준의 그래프 기반 정밀도는 현재 팀에서 사용할 수 있고, 데이터가 이미 존재하는 곳에서 기본적으로 실행돼요.

무료로 시작해보세요Snowflake Marketplace.

---

에이치시스템즈의 LogTree는 Neo4j 기반 GraphRAG 플랫폼으로, 데이터를 자동으로 지식그래프화하고 자연어 질의로 즉시 답을 제공합니다.

👉 에이치시스템즈 홈페이지