자기 발견 여정: 30년 데이터 파이프라인을 Knowledge Graph로 통합하기

Connections: Knowledge Graphs for Transformation에서 Neo4j Knowledge Graph 부문 수석 이사인 Maya Natarajan이 LPL Financial의 기술 담당 수석 부사장인 Mayank Gupta와 인터뷰를 진행했어요. LPL Financial이 FinServ 데이터 문제를 극복하기 위해 Knowledge Graph를 어떻게 사용하는지 설명했죠.

그래프와의 첫 만남

Maya: 마얀크, 환영합니다! LPL에서 Knowledge Graph를 통해 어떤 일을 해왔는지 정말 궁금해요. Neo4j 커뮤니티에 참여하신 지 벌써 10년이나 되셨다고 들었어요. Neo4j는 어떻게 처음 접하게 되셨나요?

: 브루클린에서 열린 컨퍼런스에서 Neo4j를 처음 만났어요. 그때가 Neo4j 초기였는데, Jim Webber가 그래프와 Graph Database를 소개하고 있었죠. 당시 여러 문제로 고민하고 있었는데, 그 발표를 듣고 패러다임이 전환되는 경험을 했어요. 그 이후로 Graph Database를 열정적으로 사용하고 있답니다.

Maya: 그래프를 어떻게 시작하게 되셨는지 간략하게 설명해주실 수 있을까요?

마얀크: 그 컨퍼런스 기간 동안 저는 UBS에서 일을 시작했는데, 그래프와 관련된 일을 하고 있었어요. 그 전에는 Morgan Stanley에서 데이터 배포 관련 역할을 맡았었죠. 거기서 우리는 기본적으로 모든 데이터 소스의 목록을 만들고, 사용자가 던지는 질문, 즉 논리적 모델에 매핑하는 시스템을 구축했어요. 그래프와 비슷한 구조를 사용해서 검색을 수행, 사용자가 가진 질문에서 답변에 이르는 경로를 찾았죠. 그때는 그걸 그래프나 Knowledge Graph, Graph Database라고 부르진 않았어요.

UBS에 합류했을 때, 우리는 통합 데이터 플랫폼이라는 것을 공식적으로 구축했는데, 그 중심에는 모든 소스와 논리적 매핑은 물론 데이터를 사용할 수 있는 경로와 일정이 포함된 Neo4j 기반 Knowledge Graph가 있었어요. 우리는 또한 그래프에 매우 자연스럽게 어울리는 Graph Database를 사용해서 규칙 기반 액세스 제어 메커니즘을 실험하고 구현했죠. 업계에서 매우 일반적인 이 두 가지 사용 사례 모두 핵심에는 Knowledge Graph가 자리 잡고 있어요.

마야: 그래프와 함께한 여정은 LPL에 합류하기 전부터 시작되었어요. 실제로 방금 설명한 초기 사용 사례는 보안 관점에서 매우 중요한 역할 기반 액세스 제어 목록에 중점을 두고 있죠. 흥미롭게도 범위가 상당히 확장되었지만 이는 여전히 기본 사용 사례 중 하나에요. 이제 이는 기업이 사이버 보안 위험을 사전에 식별하고 결함을 예방하는 방법의 핵심이에요. 10년 전에도 이것이 매우 중요했고, 지금도 중요하다는 사실이 정말 흥미롭죠. 그것이 우리를 LPL로 이끌었어요. LPL Knowledge Graph 여정은 어떻게, 어디서 시작되었나요?

LPL Financial의 그래프 문제 해결

마야크: 매우 빠르게 변화하는 복잡한 데이터 모델과 모델링이 있는 경우 그래프가 정말 적합해요. 저에게 그것은 uber 데이터 구조와 같아요. 다른 모든 데이터 구조는 그래프로 설명할 수 있으며 이것이 바로 그래프의 힘이죠. 이것이 바로 그래프의 가치 제안의 핵심이에요.

제가 LPL에 합류했을 때 우리는 상당히 심각한 문제를 겪고 있었어요. 우리는 매우 계정 중심적인 데이터 구조를 가지고 있으며 우리의 책임 중 하나는 감시예요. 우리는 계정에서 발생하는 의심스러운 활동을 모니터링하며 실제로 의심스러운 활동이 발생하는 많은 트리거를 얻죠. 우리는 여러 계정을 가지고 있기 때문에 시스템이 동일한 사람과 가구에 여러 번 전화를 걸고 있음을 발견했어요.

LPL에서 그래프를 처음 배포하면서 우리는 Neo4j를 사용하여 계정을 로드하고 해당 계정에서 클라이언트를 파생한 다음 동일한 가구의 클라이언트를 함께 연결하여 가구 Node를 수집했어요. 그것은 꽤 강력했죠. 우리는 주요 사용 사례를 충족했을 뿐만 아니라 많은 데이터 패턴도 발견했어요. 클러스터링이 심한 곳에서는 의심스럽고 질문이 있었어요. 왜 같은 SSN을 가진 사람이 이렇게 많나요? 같은 동네에 왜 이렇게 사람이 많은 걸까요? 실제로 우리 가족을 파악하고 알림 횟수를 줄일 수 있다는 점에서 우리가 의도했던 것 이상으로 발전했어요.

거기서 우리는 “그래프를 또 어떻게 적용할 수 있나요?”라고 물었어요. 그래프에 대한 우리의 다음 진지한 노력은 Neo4j가 우리에게 소개한 Graph Aware라는 회사를 사용하여 금융 개념과 건강 문서에 관한 것이었어요. 본질적으로 그들은 텍스트를 분석하고 Knowledge Graph를 만들어 검색 결과를 개선했죠. 이는 고문이나 홈 오피스 사용자가 검색어를 입력할 때 훨씬 더 나은 효율성을 얻을 수 있다는 의도였어요. 이는 우리의 최종 관심사인 전화 통화를 감소시키기 시작했고, 질문에서 정보를 더 빨리 얻을 수 있게 되었기 때문에 고문 경험을 향상시켰기 때문에 매우 귀중한 것으로 입증되었어요.

금융계에는 많은 Relationship이 존재하는 경향이 있어요. 그래서 보험 고객을 소개하고, 자문 회사나 자문 컨설팅을 하는 동료를 소개하죠. 그런 다음 금융 컨설턴트는 고객에게 적합한 제품을 보유한 스폰서를 소개할 수 있어요. 보시다시피 이는 복잡한 Relationship이므로 우리는 Graph Database를 사용하여 이러한 조직과 Relationship을 실제로 수용하고 추진해 왔어요. Knowledge Graph는 고객과의 참여를 크게 향상시켰어요.

마야: Relationship이 중요하다는 중요한 점에 집중하고, 이것이 바로 Graph Database를 통해 표면화되는 것이죠. LPL이 Knowledge Graph를 기반으로 이렇게 많은 사용 사례를 구축했다는 것은 정말 환상적이에요. 최근에 LPL이 Forbes 500대 기업 목록에 포함되었다는 소식을 읽었어요. 축하해요! 그 점과 극복해야 했던 어려움에 대해 조금 말씀해주실 수 있나요?

도전과제

마야크: 적어도 데이터 부서에 있는 우리에게는 흥미롭기도 하고 동시에 다소 무섭기도 해요. 지난 5~6년 동안 우리가 보아온 것은 우리가 제공하는 서비스를 개선하고 국가가 독립 고문과 점점 더 많은 Relationship을 맺으면서 거래와 비즈니스 규모가 지속적으로 증가하고 있다는 것이에요. 우리 사업은 급속도로 성장하고 있어 훨씬 더 많은 실무자와 자문가를 영입하여 관리 중인 계정과 자산이 훨씬 더 많아졌어요. 우리는 처리 수요를 빠르게 증가시키는 LPL의 유기적 성장과 무기적 성장을 모두 목격하고 있어요. 처리량과 탄력성을 높이는 동시에 규모를 처리할 수 있어야 해요. 금융 서비스 회사는 우리의 거래량이 매우 급증할 수 있다는 것을 알고 있어요. 장세가 좋지 않은 날에는 우리는 당황하며 이를 수용할 수 있어야 해요. 이와 함께 우리가 필요로 하고 원하는 것은 데이터의 품질과 경험 및 정보의 효율성이 활성화된다면 가치를 높이는 것이에요. 비용 곡선을 굽히지는 않더라도 최소한 유지하면서 이를 수행하는 것이 매우 중요해요.

이는 지난 30년 동안 구축되어 매우 스타카토 방식으로 구축된 일련의 데이터 파이프라인에 대한 매우 심각한 문제 설명이에요. 우리가 하려는 것은 Knowledge Graph의 원리를 적용하여 실제로 왼쪽이나 오른쪽을 보는 것이 아니라 데이터 부서가 어떻게 기능하고 변환하는지에 대한 자기 발견을 위해 내부를 살펴보는 것이에요.

마야: 데이터 사일로도 문제 중 하나인가요?

마야크: 우리의 데이터는 사일로이지만 몇 개의 단일체 내에 있어요. 이는 인프라가 공유되지만 논리적 구성이 모두 다르다는 것을 의미해요. 일반적으로 사일로에서 데이터를 볼 때 해당 데이터는 먼저 머신 A에 있고 그 다음 머신 B, 머신 C에 있으며 모든 데이터가 한 곳에 있어요. 그럼에도 불구하고 데이터는 실제로 서로 연결되어 있지 않으며 이러한 연결을 만드는 것이 우리가 개선하고자 하는 부분의 큰 부분이에요.

데이터 파이프라인의 경우 볼륨과 형식이 다양한 다양한 데이터 소스가 있으므로 통합 지점을 만들려고 해요. 예를 들어 쉼표로 구분된 파일이고 이것이 구분 기호예요. 이는 열 이름이며 이것이 서로 연결되는 방식이에요. 또는 이것은 JSON 문서 또는 일련의 JSON 문서이거나 스트림이에요.

데이터를 구조화한 후에는 다음과 같은 질문을 해요: "15개의 열이 있는 이 파일이 있어요. 이 열은 무엇을 의미합니까? 나에게 어떤 의미가 있습니까?" 저는 이것을 데이터 파이프라인에 대한 의미론적 구성 생성이라고 부르죠. 여기서 사람은 저장된 데이터를 논리적 구성에 매핑해요.

이 첫 번째 매핑을 마친 후에도 다양한 배포 및 소비 패턴에 맞게 해당 데이터를 준비해야 해요. 이는 데이터가 존재할 다양한 컨텍스트에 맞게 데이터를 형성하고 정렬해야 함을 의미해요.

Knowledge Graph가 해결책이다

마야크: 데이터 파이프라인 생성과 관련된 이러한 모든 질문에 답하려면 Knowledge Graph가 정말 유용할 수 있어요. 아마도 정보는 구성 파일이나 코드에 잠겨 있거나 사람들의 머리 속에 잠겨 있을 수도 있어요. 모든 지식을 꺼내 Knowledge Graph에 깊이 포함시키면 여러 구현을 거치지 않고 처음에 올바른 것을 구현할 가능성이 높기 때문에 파이프라인 생성이 훨씬 더 빨라져요. Knowledge Graph로 파이프라인을 전체적으로 볼 수 있으면 회사의 효율성과 가시성이 크게 향상됩니다.

이제 우리는 어려운 부분에 이르렀어요. 원시 데이터에서 중간 물리적 구조로 어떻게 이동합니까? 물리적 구조에서 데이터 준비 프로세스로 이동하고 궁극적으로 다양한 컨텍스트에 대한 데이터 세트를 선별하려면 어떻게 해야 합니까? 처리 세부 정보를 살펴보고 이를 Knowledge Graph에 캡처하면 기본적으로 데이터 실무자의 요구 사항과 데이터 파이프라인이 결합됩니다.

마야: 데이터 파이프라인 여정을 안내해주셔서 정말 감사드려요. Knowledge Graph의 장점은 모든 것을 연결하는 중간 통찰력 레이어를 제공한다는 점이죠. 비즈니스 리더나 CIO는 데이터 환경이나 인프라를 변경하는 게 아니라, 다양한 사용 사례에서 사용할 수 있는 Knowledge Graph 계층으로 모든 것을 연결하는 거예요. 다른 많은 회사들도 데이터 파이프라인을 똑같은 방식으로 바라볼 거라고 확신해요.

마야크: 맞아요. 저희는 30년 간의 데이터 파이프라인으로 얽힌 고르디우스의 매듭을 갖고 스스로에게 묻기 시작했어요. "이걸 어떻게 풀어야 할까? 뭐가 어떤 영향을 미칠지 전혀 모르겠어." 많은 기업, 특히 오래된 기업들이 똑같은 고민을 하고 있을 거라고 생각해요.

Knowledge Graph를 통해 얻은 투명성 덕분에 의사결정을 현대화할 수 있었어요. 파이프라인과 특정 사용자의 요구 사항을 충족하는 데 관련된 구현 문제를 명확하게 보여줌으로써 더 나은 결과를 얻을 수 있었죠. 이전에는 데이터 부서가 데이터 생산자와 정보 소비자 사이에 있었는데, Knowledge Graph를 사용하면 데이터 부서가 더 이상 병목이 되지 않아요. 이제 저희는 생산자가 더 나은 데이터를 제공하고, 데이터 소비자가 겪는 문제를 기반으로 피드백 루프를 제공할 수 있도록 지원하고 있어요. 투명성 덕분에 문제를 해결하고, 심지어 문제를 피할 수도 있게 되었죠.

마야: 오늘 컨퍼런스의 "변환을 위한 Knowledge Graph" 주제를 추가하셨죠. AI뿐만 아니라 AI가 아닌 일반적인 사용 사례에서도 마찬가지고요. Knowledge Graph에 대해 그렇게 많은 경험을 가진 사람은 몇 없을 거라고 확신해요. 이 여정에서 가장 크게 깨달은 점은 무엇이었고, Knowledge Graph에 관해 우리와 공유하고 싶은 핵심 내용은 무엇인가요?

마야크: 저에게 중요한 순간은 장기적으로 데이터에 대해 알고 있는 내용을 공유할 수 있는 방식으로 설명하는 방법에 대해 생각하게 된 거였어요. 저는 Knowledge Graph가 사람들이 맥락을 공유할 수 있는 최고의 도구 중 하나인데, 아직 제대로 활용되지 못하고 있다고 생각해요. 온톨로지와 분류법을 사용해서 많은 작업을 하지만, 이걸 Knowledge Graph에 담을 수 있다면 우리의 이해가 훨씬 깊어질 거예요.

앞서 이야기한 내용을 포함해서 Knowledge Graph의 이점 중 하나는 조직을 움직이게 한다는 거예요. 많은 데이터 실무자, 분석가, 고급 사용자를 보면 그들은 기업의 의사 결정자들이에요. 그들은 앞으로 3분기 동안 어디에 투자해야 하는지 알고 싶어하죠. "앞으로 3분기 동안 내 의사 결정을 좌우할 추세가 무엇인지 알고 싶다"고 말할 수 있어야 해요. Knowledge Graph를 사용하면 이런 의도 기반 스타일의 정보 참여가 가능해져요. 그게 제가 크게 깨달은 점이었어요.

마야: 저도 전적으로 동의해요. Knowledge Graph를 통해 비즈니스 리더는 그 가치를 더 빨리 얻을 수 있다고 생각해요. 지금은 가장 활용도가 낮은 기술 중 하나이지만, 모든 것이 변하고 있죠. 올해는 확실히 Knowledge Graph의 해가 될 거예요!

앞으로

마야: 미래 지향적인 질문으로 마무리해볼게요. 그래프 기술은 앞으로 몇 년 동안 어떤 역할을 하게 될까요?

마야크: 몇 가지 트렌드가 나타나고 있다고 생각해요. Bill Gates와 다른 사람들이 유비쿼터스 컴퓨팅 구조를 도입했고, 이제 우리는 그게 현실이 되는 걸 보고 있죠. 제 딸은 5, 6학년 때 이미 음성을 통해 세상의 모든 정보에 접근할 수 있는 대용량 컴퓨터를 주머니에 넣고 다녔어요. 기업은 어떻게 소비자와 똑같은 힘을 가질 수 있을까요? 어디서든 질문을 하고 답변에 접근할 수 있어야죠. 기업에서는 연구 개발에 대한 엄청난 투자에도 불구하고, 우리가 만든 인터페이스는 Google, Apple 등이 소비자 문제를 해결하기 위해 사용하는 일반적인 인터페이스만큼 발전하지 못하고 있어요. Knowledge Graph는 기업에서 점점 더 널리 사용될 것이고, 오늘날 사람들이 사용하는 인터페이스를 주도하게 될 거예요. 채팅과 음성은 Knowledge Graph를 기반으로 하고 있으며, 앞으로는 그 범위가 크게 확대될 거예요. 사람들이 데이터, 분석, 통찰력, 정보 시스템에 참여하는 방식은 크게 변화할 거예요. 이 놀라운 추세는 이미 시작되었고, 점점 더 가속화될 거예요.

제가 간절히 기대하고 있는 두 번째 추세는 이런 그래프를 바탕으로 한 운영 모델의 변화예요. 그래프는 훨씬 더 빠르게 업데이트되고 자체적으로 구성될 거예요. Knowledge Graph는 오늘날 인간의 속도와 규모가 아닌, 기계의 속도와 범위에서 지식을 포착하고 유지하는 기본 메커니즘이 될 거예요. 이는 다양한 산업이 어떻게 운영되고 변화에 대응하는지에 대해 깊은 영향을 미칠 거라고 생각해요.

마야: 마지막 말씀에 전적으로 동의해요. 개인적인 여정을 공유해주신 Mayank께 진심으로 감사드립니다.

Knowledge Graph를 통해 오늘날의 데이터 문제를 해결하는 방법을 알아보세요. 백서 사본 받기그래프에서 Knowledge Graph까지: 무제한의 통찰력을 향한 짧은 여정.

• Finserv
• LPL 금융

---

에이치시스템즈의 LogTree는 Neo4j 기반 GraphRAG 플랫폼으로, 데이터를 자동으로 지식그래프화하고 자연어 질의로 즉시 답을 제공합니다.

👉 에이치시스템즈 홈페이지