Databricks에서 Neo4j GraphRAG로 임팩트 있는 인사이트 찾기

데이터는 정말 많이 가지고 있는데, Databricks에서 테이블 정리도 하고, 잘 정의된 스키마에 확장 가능한 컴퓨팅까지 갖췄어요. 그런데도 뭔가 부족한 느낌이 들 수 있어요.

어려운 건 데이터 자체가 아니에요. 데이터들이 실제로 어떻게 연결되는지 파악하는 게 핵심이죠. 더 나은 추천, 공동 사기 적발, 고객 간의 영향 관계 등 실제 결과를 만들어내는 패턴은 단순히 행과 열만 봐서는 찾기 힘들거든요.

Neo4j Aura Graph Analytics를 사용하면 이미 가지고 있는 데이터 위에 그래프 알고리즘을 실행할 수 있어서, 추천, 사기, 고객 행동과 관련된 패턴을 훨씬 쉽게 찾아내고 활용할 수 있어요. 새로운 인프라를 구축하거나 파이프라인을 재구성할 필요 없이, 수십억 개의 Node와 Relationship까지 확장할 수 있다니 정말 매력적이죠?

그래프 분석에 적합한 비즈니스 문제는 무엇일까요?

유사성 알고리즘(Similarity Algorithms)은 "무엇이 비슷할까?"라는 질문에 답을 줘요. 소매, 금융 서비스, 미디어 회사에서는 이걸 활용해서 제품 추천을 강화하고, 중복 고객을 식별하고, 타겟팅을 위해 유사한 행동을 하는 사용자를 찾고 있어요.

커뮤니티 감지 알고리즘(Community Detection Algorithms)은 엔터티가 연결되는 방식에 따라 자연스러운 그룹을 찾아내요. 팀에서는 이걸 활용해서 구매 패턴과 같은 공유 행동을 기준으로 고객을 분류하고, 긴밀하게 연결된 그룹으로 활동하는 사기 조직을 감지하기도 해요.

중심성 알고리즘(Centrality Algorithms)은 네트워크에서 눈에 띄는 요소를 강조해 줘요. 제조, 금융 서비스, 공급망 팀은 이걸 사용해서 병목 현상을 식별하고, 중요한 공급업체를 찾아내고, 결과에 가장 큰 영향을 미치는 고객이나 거래처를 찾고 있죠.

임베딩 알고리즘(Embedding Algorithms)은 그래프 데이터를 Machine Learning 모델이 사용할 수 있는 숫자 Feature로 변환해 줘요. 데이터 과학 및 ML 팀은 이걸 사용해서 엔터티가 연결되는 방식을 캡처해서 추천, 예측, 이상 탐지와 같은 작업을 개선하고 있어요.

어떻게 작동할까요?

이 강력한 그래프 알고리즘을 실행하기 위해 데이터를 옮기거나 Graph Database를 설정할 필요가 없다는 점이 매력적이에요.

오른쪽 그림을 한번 살펴볼까요? 이 프로세스는 Python 데이터 프레임으로 시작해요. 대부분의 경우 Node(고객이나 제품처럼 관심 있는 항목)에 대한 데이터프레임을 하나 만들고, Relationship(구매나 상호 작용처럼 항목들이 연결되는 방식)에 대한 데이터프레임을 또 하나 만들죠.

다음으로 점선 프레임으로 표시된 서버리스 세션을 시작하는데, 이건 일시적이라 실행되는 동안에만 요금이 부과돼요. 그리고 해당 세션에서 그래프 투영(Graph Projection)을 만들어요. 그래프 투영은 메모리 내 그래프(in-memory graph)인데, 메모리에 저장되고 네트워크로 구조화된 데이터 버전을 의미해서 알고리즘이 효율적으로 실행될 수 있는 거죠.

그래프가 투영되면 알고리즘을 실행해요. 오른쪽 다이어그램에서는 연결을 기반으로 Node가 얼마나 유사한지 캡처하는 각 Node의 숫자 표현인 임베딩(Embedding)을 생성했네요.

결과는 Databricks에 데이터 프레임 형태로 다시 나타나요. 여기서 Machine Learning 워크플로우에 사용하거나 Databricks의 Delta 테이블에 다시 쓸 수 있어서 보고, 분석, 운영 용도로 활용할 수 있어요.

이제 Databricks 데이터를 가져와 그래프로 모델링하고 알고리즘을 실행하는 방법을 살펴봤으니, 이걸 여러분의 문제에 적용해 볼 차례에요! 다음 튜토리얼에서 직접 데이터를 가지고 실습해 보세요. 단계별 튜토리얼Databricks의 Aura Graph Analytics용.

• Graph Algorithms
• Graph Data Science

---

에이치시스템즈의 LogTree는 Neo4j 기반 GraphRAG 플랫폼으로, 데이터를 자동으로 지식그래프화하고 자연어 질의로 즉시 답을 제공합니다.

👉 에이치시스템즈 홈페이지