세계 리더를 위한 글로벌 이슈 그래프 구축: Neo4j와 GraphRAG 활용기

편집자 주: 지난 10월 GraphConnect 샌프란시스코에서 세계경제포럼(World Economic Forum)의 정보 상호 작용 이사인 Scott David는 포럼이 어떻게 Neo4j를 사용하여 세계 지도자들에게 미래의 새로운 글로벌 문제에 대해 알리는지에 대해 프레젠테이션을 했어요.

GraphConnect SF의 더 많은 비디오를 보고 GraphConnect Europe에 등록하려면, graphconnect.com을 확인하세요.

오늘은 그래프 작업 방법에 대한 개요를 알려 드릴게요. 세계경제포럼에서 말이죠. 커뮤니티 감지를 통해 수십억 개의 Node 또는 기가비트 분석을 통한 순회를 확인하고 싶을 거예요.

실제로 우리 그래프는 작지만 믿을 수 없을 정도로 강력하답니다! (아직 공사 중이기도 하고요.)

오늘은 우리가 Graph Database를 선택한 이유와 세계경제포럼(World Economic Forum)과 같은 복잡한 조직에 존재하는 고유한 비즈니스 기회 그래프에 대해 집중적으로 이야기해볼게요.

이번 포스팅에서는 변환 맵, 그래프 검색 및 권장 사항이라는 두 가지 주요 프로젝트에 대해 설명할 거예요. 두 프로젝트 모두 지도자들과 전문가들이 상호 연결된 문제와 파괴적인 변화의 출현에 대한 더 넓은 시각이 필요하다는 인식에서 시작되었답니다.

세계경제포럼의 파괴적인 변화

파괴적인 변화를 경험했거나 곧 경험하게 될 산업이 정말 많죠.

3D 프린팅은 제조 및 공급망을 변화시키고 있어요. 자율주행차는 아직 자동차 산업을 뒤흔들지 않았지만, 디젤 배기가스 스캔들은 하룻밤 사이에 업계에 큰 영향을 미칠 수 있죠. 호텔 산업은 공유 경제로 인해 위협을 받고 있으며, 미디어 산업은 독자층과 수익 증대를 위해 끊임없이 재창조되고 있고요.

포럼을 비롯한 많은 조직이 급격한 변화를 경험하고 있어요. 하지만 포럼은 우리가 플랫폼이라고 부르는 메타 조직이기 때문에 특별하죠.

포럼에는 다양한 역할이 있어요.

• 글로벌 이슈를 둘러싼 소음을 걸러내기 위해
• 데이터에서 패턴을 찾으려면
• 다른 조직의 향후 계획을 나타냅니다.

우리는 공공, 기업, 민간 부문의 변화를 주도하는 사람들을 모아 조치를 취하는 방법에 대한 합의를 구축해요. 이를 위해 우리는 높은 수준의 협업과 지식 교환을 촉진하는 기술을 구축하고 있답니다.

다보스 회의

무엇보다도 포럼은 다보스 연례회의로 가장 유명하죠. 스위스 동쪽 끝에 있는 작은 마을에서 열리는 이 행사에는 상위 1,000개 글로벌 기업의 회원 2,500명과 함께 정부, NGO, 학계, 종교 지도자들이 모인답니다.

2015년 1월 포럼 연례 회의에는 정말 다양한 유명 연사들이 참석했어요. 존 케리는 자유, 민주주의, 법치에 관한 특별 연설을 했고, Bill과 멜린다 게이츠는 지속 가능한 발전에 대해 이야기했죠. 앙겔라 메르켈 총리는 디지털 시대의 글로벌 책임을 다뤘고요. 심지어 will.i.am도 인터뷰를 했다는 사실!

군대의 미래와 인간 대 인공지능을 둘러싼 논의도 있었고, 인용할 만한 순간들도 정말 많았답니다.

하지만 이건 다보스에서 일어나는 실제 복잡성의 아주 일부분일 뿐이에요. 단순한 컨퍼런스 그 이상이죠. 조직자 입장에서 보면, 네트워크 사고를 통해 글로벌 복잡성에 대한 솔루션을 찾는 자리라고 할 수 있어요.

컨퍼런스 참석자들은 대부분 Fortune 500대 CEO부터 국가 원수에 이르기까지 세계적인 리더들이에요. 2,500명의 유명 참가자, 이들과 동행하는 군사 및 민간 보안, 프로그램의 1,500개 연설 역할을 계획하려면 정말 특별한 물류 작업이 필요하답니다.

발표자와 참가자들의 기대와 요청을 관리하는 것도 중요한 일이에요. 어떤 주제로 이야기하고 싶어 하는지, 전달하고 싶은 핵심 메시지는 무엇인지, 함께 출연하고 싶은 사람은 누구인지, 시대의 가장 중요한 이슈에 대해 어떻게 이야기할지 등을 고려해야 하죠.

저희의 성공은 연중 내내 컨퍼런스의 핵심 문제와 연사를 식별하는 프로그램 팀 덕분이에요. 이건 중매와 외교의 마라톤과 같아요. 다양한 전문가들과 함께 새로운 이슈와 아직 알려지지 않은 이슈에 대해 논의할 수 있는 기회이기도 하고요.

다보스 연례 회의는 단순한 회의가 아니라 솔루션을 찾는 공간이에요. 세계 지도자들이 가장 시급한 글로벌 문제들을 발견하고, 이해하고, 논의하기 위해 모이는 곳이죠.

Graph Database를 통해 솔루션 활용하기

리더들이 정보에 기반한 결정을 내리고 적절한 조치를 취하도록 지원하려면 콘텐츠 분석과 의견을 통합적으로 파악하는 것이 중요해요. 저희는 일년 내내 회원 및 파트너 네트워크를 통해 트렌드를 모니터링, 측정 및 식별하고, 회의에 영향을 미치는 복잡성과 변화를 탐색하기 위한 귀중한 지식 아카이브를 구축하고 있답니다.

다음은 저희가 구축한 몇 가지 제품에 대한 간략한 소개와, Graph Database에 연결했을 때 어떻게 더 강력해지는지에 대한 설명이에요.

포럼은 매년 73개의 보고서와 백서를 작성하는데, 대부분 디지털 형식으로 제공돼요. 하지만 작년에 세계은행은 대부분의 PDF가 읽히지 않는다는 보고서를 발표했죠.

디지털 제품을 쉽게 찾고 소비할 수 있도록 만드는 건 정말 중요한 일이에요. 공개와 사용을 기다리는 PDF 안에는 엄청난 양의 지식이 잠겨 있거든요.

저희가 다루는 가장 일반적인 문제는 인프라, 신뢰, 금융, 고용, 교육, 기술 분야의 신기술, 유로존 및 글로벌 동향 등이에요. 포럼 내의 많은 팀들이 분석의 일부로 데이터세트와 데이터 시각화를 생성하기 때문에 디지털 플랫폼은 필수적이죠.

아래에서 글로벌 위험 보고서 샘플을 볼 수 있어요. 이 보고서는 매년 30~50개의 문제를 선정하여 영향과 가능성, 연결된 위험, 클러스터 및 무게 중심을 평가하는데, 이게 바로 그래프 분석이죠! 전문가를 초빙해서 연구 결과를 논의하고, 파트너 조직과 협력해서 연구를 수행하기도 한답니다.

이 모든 것은 증거 기반 데이터인데요, 그 중에서도 가장 중요한 건 8개의 글로벌 지수에요. 여기에는 하위 지수, 주제 중심 기둥, 그리고 시계열에 따라 추가되는 수백 개의 개별 지표로 구성된 140개 국가의 순위가 포함되어 있죠.

저희는 각 경제에 대한 스코어카드 페이지와 짝을 이루는 데이터 API와 지표 카탈로그도 가지고 있어요. 지표는 경제협력개발기구(OECD), 세계은행 등 다양한 공개 소스와 경영진 의견 설문조사를 통해 얻은 분석 방법론을 통해 수집, 처리 및 정규화된답니다.

글로벌 지수에는 글로벌 경쟁력, 아프리카 경쟁력, 여행 및 관광 경쟁력, 에너지 아키텍처 성과, 성별 격차, 인적 자본, 정보 기술 및 네트워크 준비가 포함돼요.

가장 최근에는 지속 가능한 정책 권장 사항에 대한 더 깊은 토론과 변화를 촉진하는 것을 목표로 하는 포용적 성장 보고서(아래)라는 새로운 지수를 포함시켰어요.

다보스를 데이터로 변환

처음에 보여드린 모든 사진은 촬영된 것들이고, 녹취록, 태그된 주제, 이슈 및 연사를 첨부하는데요. 이걸 Data Model이라고 해요.

글로벌 이슈를 다루는 이 비디오 아카이브는 저희가 개최하는 모든 이벤트와 함께 성장하고 있고, 글로벌 이슈 변화와 이에 대한 리더들의 대응을 보여주는 시계열이 되어가고 있어요.

다보스에는 다보스 회의에 대한 사람들의 반응을 추적하는 8미터 높이의 디스플레이인 "소셜 월(Social Wall)"도 본회의장 밖에 있답니다.

소셜 월은 컨퍼런스와 관련된 주제에 대해 게시하는 사람들의 도달 범위나 영향력은 물론, 주제 자체의 도달 범위도 추적하고 있어요.

The Twitter API는 어떤 리더가 가장 사회적으로 활동적이고 가장 많이 리트윗되는지에 대한 세부 정보를 제공하죠. 우리의 Imagery API는 세계 지도자들이 자신의 아이디어를 전달하는 순간의 피드를 제공하고요. News API는 당사의 진행 상황에 대해 작성되고 있는 기사를 찾아준답니다. 맞춤형 D3 기반 데이터 시각화를 통해 이를 보여주고 경험이 풍부한 9개의 템플릿이 이를 제공하고 있어요.

또한 이벤트 기간 동안 회원이 여행 일정을 계획할 때 회원 엑스트라넷과 앱에서 대부분의 트래픽을 수신하는데요. 여기에는 포럼과 관련된 모든 사람, 조직 및 세션이 포함돼요. 이벤트 사이에는 공통 관심사에 대한 토론을 위한 커뮤니티 공간이자 행동 및 글로벌 문제를 계획하는 공간이기도 하고요.

Graph 및 제품 통합

위에서 언급한 백서와 위험 평가를 전략적으로 가치 있는 지식, 인식, 발견 및 협업 도구와 통합하기 위해 노력하고 있어요. 그리고 우리가 하고 있는 graph 작업에서 가장 많은 혜택을 누리고 있는 것이 바로 플랫폼이죠.

Graph는 포럼 및 기타 해당 유형의 조직에 엄청난 잠재력을 제공해요. 데이터 세트를 조사하면 얼마나 많은 entity 관계, 하위 graph 및 순회가 가능할 수 있는지 분명해지죠.

요약하자면, 포럼은 콘텐츠 채널, 트렌드 파악자, 글로벌 이슈 분석 시스템, 그룹 협업을 위한 매치메이킹 서비스, 벤치마크 데이터 세트 제공자 및 글로벌 변화에 대한 지식 추천자로 정의할 수 있어요.

미래의 불평등한 분배의 문제는 리더들이 소음의 약한 신호를 모른다는 것인데요. 이것이 바로 포럼이 등장하는 곳이죠. 우리는 담론의 성격을 특성화하고 적절하게 행동하는 데 도움이 되는 데이터의 패턴을 찾아 공유하고 있어요.

Graph는 이러한 복잡성을 모두 포착하는 가장 좋은 방법이에요. 여러 면에서 종이와 기술을 사용하여 40년 넘게 개발되어 왔고, 스프레드시트도 마찬가지죠. 하지만 데이터 복잡성이 엄청나게 증가함에 따라 새로운 기술이 필요해졌어요.

포럼 의장인 클라우스 슈왑(Klaus Schwab)은 예상치 못한 영향으로 고위 지도자들 사이에 점점 커지는 지식 격차를 개선하기 위해 글로벌 이슈 매핑 프로젝트를 요청했는데요. 그 결과가 변환 맵으로 알려져 있답니다.

글로벌 이슈 전환 맵 구축

우리는 항상 데이터베이스를 갖고 있었지만 서로 다른 문제를 연결한 적은 없었어요. 사람 레이어 위에 글로벌 이슈 레이어를 배치할 수 있는 분류 체계도 없었고요. 이제 이 문제에 대한 해결책을 생각해 내야 할 때였죠.

아래는 우리가 graph에 입력한 실제 데이터를 묘사하는 graph의 모양이에요.

하지만 데이터 모델이 제품의 일부이고 최종 사용자가 직접 상호 작용하는 경우 시각화 방식을 재고해야 해요.

올해 다보스에서 변형 지도를 공개했을 때 매우 호평을 받았어요. 우리는 CEO들이 82인치 터치 스크린(아래 참조)을 맡아 동료들에게 시연하도록 했답니다.

아래 변환 맵 예시에서는 경제의 핵심 이슈가 산업 및 산업 간 핵심 이슈에 의해 어떻게 영향을 받을 수 있는지 확인할 수 있어요.

이는 멀리 떨어져 있는 주요 문제 간의 원인과 결과를 보여주기 위해 여러 단계의 분리를 단계별로 수행하는 그래프 순회(graph traversal)에요.

변환 지도는 그룹 전략 계획을 위한 핵심 촉진 도구가 되었어요. 이는 산업 전략 회의 중 중요한 사용자 경험 시간에 대응하여 개발되었죠. 우리는 최고전략책임자가 어떻게 데이터 구조를 논의하고 탐구하는지, 즉 핵심 이슈에서 핵심 이슈로, 통찰력 영역에서 통찰력 영역으로 어떻게 이동하는지 지켜보았어요.

여러 가지 질문이 나왔어요:

• 네트워크에서 상담할 전문가를 찾고 싶다면 어떻게 해야 할까요?
• 귀하가 참석하고 있는 행사의 특정 주제를 다루는 세션을 검색하고 싶다면 어떻게 해야 할까요?
• 해외 프로젝트에 참여하고 싶다면?

변환 그래프는 이러한 질문에 답하고 회원들이 글로벌 문제 간의 상호 연결을 발견하고 조직 내에서 전략적 대화를 구성할 수 있는 방식으로 지식 인프라를 제공해요.

글로벌 이슈 아카이브 그래프 작성

포럼은 여전히 ​​기존 인프라에서 데이터를 가져와 Graph Database로 전송하는 과정을 진행하고 있어요.

이 프로세스를 시작하기 위해 우리는 우리가 가장 잘 아는 전문가와 문제 매핑부터 시작했으며, 커뮤니티와 네트워크의 내부 문제 중심 팀을 활용했어요. 우리는 함께 110개의 주요 글로벌 이슈, 경제 및 산업 내의 주요 이슈와 이들에 대한 변화의 동인을 파악했죠.

조정하는 팀이 있어요. 우리 지역 회의 아프리카, 중동, 라틴 아메리카 및 동아시아에서 열리죠. 우리는 자동차부터 통신까지 21개의 산업팀과 30개 이상의 커뮤니티를 보유하고 있어요. 우리는 세계 최대의 브레인스토밍인 글로벌 의제 협의회 네트워크를 보유하고 있으며, 80개의 협의회에 1,500명의 글로벌 전문가가 있으며, 이들은 1년에 한 번 모여 지식 영역 내 주요 글로벌 트렌드를 논의해요.

데이터 구조는 마술이 아니에요. 이는 수많은 전문가의 엄청난 노력의 결과이죠. 몇 달에 걸쳐 우리는 프로토타입 콘텐츠 입력 환경을 구축하고, 수신 데이터의 품질을 모니터링하고, 특정 문제 영역에서 정의된 주요 문제의 수를 확인하고, 태그 지정 지침을 작성했어요.

우리의 데이터 세트는 전문가들의 집단적 지혜에요. 모든 사람이 다른 사람과 대화하도록 한 다음 결과 대화를 그래프로 캡처할 수 있다면 어떤 모습일까요? 이것이 이를 보여주는 모델에 대한 첫 번째 시도랍니다.

이것은 곧, 앞으로는 Machine Learning이 태그 지정, 모델링, 개선, 그리고 분류 체계 구축에 큰 역할을 하게 될 거라는 뜻이기도 해요. 인간의 전문 지식은 Machine Learning을 통해 점점 더 강화될 거예요.

이것은 또한 우리와 회원들이 원하고 이야기해야 할 사항을 나타내는 연중 데이터 모델이 될 거예요. 회원 및 조직과의 참여 및 관계에 대한 데이터 구조를 정의하는 것이기도 하고요.

이러한 노력은 인식을 높여주고, 전략적인 초점을 제공하며, 시간이 지남에 따라 발전할 수 있도록 도와줘요.

그래프를 사용하여 조직 관련성 구축

이 그래프 도구를 가장 효과적으로 활용하려면 강력한 검색 도구가 필요했어요. 그래서 데이터의 검색 가능성과 관련성을 높이기 위해 그래프 검색 프로젝트에 착수했죠. 콘텐츠가 적절한 장소에서 적절한 사람들에게 적시에 노출되는 것이 중요했거든요.

검색 도구는 단순한 문자열 검색보다는 솔루션 아키텍처와 더 유사해야 했어요. 변환 맵은 분류학적 접착제 역할을 하고, 그래프는 모든 것을 메타 스토어로 결합하는 중앙 인프라가 될 거예요.

검색 도구 개발은 포럼이 수년 동안 겪었던 일부 관련성 문제도 해결해 줄 거에요. 2012년에 검색 도구 작업에 4개월을 투자한 후, 검색이 제대로 작동하려면 데이터를 지속적으로 분류하고 평가하는 데 정규 직원 5명이 필요하다는 사실을 알게 되었어요. 그때 뭔가 크게 잘못되었다는 걸 깨달았죠.

그 시점에서 우리는 Google에 의존하기로 결정했어요. 하지만 비공개 플랫폼에서는 관련성을 구축하기 위해 페이지 순위와 Google 가중치 알고리즘에 의존할 수 없었죠.

관련성 문제를 해결하기 위해 우리는 여러 단계를 밟았어요.

우리가 취한 첫 번째 단계는 Elasticsearch로 전환하고 전문 지식을 활용하여 index 구조를 다시 구축하는 것이었어요. 이건 유럽과 GraphAware 런던 덕분이었죠.

두 번째 단계는 관련성 엔지니어링에 참여하여 검색 결과를 그래프로 가로채는 것이었어요. 그래프 순회는 표준 index에 존재하지 않는 가중치, 접촉 및 종속성을 제공하거든요.

우리는 검색 관련성에 대한 진입점으로 엔터티 인식을 원했고, 상위 10개 결과 순위를 결정하기 위해 가정된 요구 사항의 계층 구조를 원했어요. 또한 API 인프라로서 검색 및 추천을 원했기 때문에 그 위에 권한 계층을 배치하고 다양한 플랫폼에서 사용할 수 있도록 했죠.

우리가 가장 먼저 한 일 중 하나는 추천 시스템이 데이터 모델에서 작동하는 방식을 살펴보는 것이었어요. 하지만 유사성에 의존하는 문제가 즉시 나타났어요.

다음 예를 한번 살펴볼까요? 저는 보통 업무와 관련된 Kindle 책만 구입해요. 그러다가 1년 전에 신발 한 켤레를 샀는데, 바로 이 신발이었죠.

3개월이 지난 후에도 아마존은 똑같은 신발을 계속 추천하더라고요.

아마도 신발을 두 켤레 샀기 때문일 수도 있고, 평소에 구입했던 제품과 너무 달라서였을 수도 있고, 리더십 및 사용자 경험 서적을 구입한 사람들이 모두 스카르파 신발도 구입했기 때문일 수도 있겠죠. 그들은 그것이 중요하다는 것을 알았지만 그것을 분석하는 방법을 몰랐던 거예요.

개인 간 매치메이킹 유사성을 탐색하면 보상을 얻을 수 있지만 추천자가 검색과 어떻게 교차하는지 살펴보고 싶었어요. 대신 우리는 회의 중에 수행하는 여러 엔터티에 대한 매치메이킹과 같은 권장 사항에 대해 더 많이 생각하기 시작했죠.

다시 말하지만, 이는 추천보다는 매치메이킹이라는 검색을 통해 채택하는 솔루션 엔진 접근 방식에 가깝습니다. 이곳은 현재 포럼이 정말 흥미로운 아이디어와 풀 수 있는 가능성을 많이 가지고 그래프 여행을 하고 있는 곳이에요.

새로운 기술

하지만 모든 것은 진화하고 있고, 때가 되면 아이디어가 꽃피우는 것 같아요. 포럼의 경우, 우리가 겪고 있는 비즈니스 변화로 인해 새로운 기술이 필요한 시기가 되었어요. 우리는 주요 문제 중 하나로 검색을 수정해야 했죠.

또한 우리가 수행하려는 종류의 순회를 시작하면 표준 데이터베이스가 시간 초과된다는 사실도 깨닫게 되었어요. 첫 번째 그래프 계획은 2011년에 완료되었지만 모두가 동의할 수 있는 문제 분류 체계를 통합하는 데는 2012년부터 2014년까지 걸렸습니다.

Graph 세계가 성숙기에 접어들기 시작하는 데는 충분한 시간이었습니다. 또한 서비스로서의 Machine Learning 작업이 등장하기 시작한 시기는 다음과 같아요. IBM 왓슨, 연금술API그리고 다른 사람들.

2011년과 2012년에 해야 했던 어려운 사서업무는 위키피디아와 연계된 엔터티 및 개념 추출 작업으로 대체되었습니다. 마이크로서비스. 이는 인간 참여형(Human-In-The-Loop) 전문 지식을 바탕으로 문제 분류 체계를 확장하는 데 도움이 될 것입니다.

이 차세대 기술과 데이터 증대는 우리에게 새로운 기회를 가져다 줄 것이며, 우리는 지금 이를 탐색하고 성장시키고 있어요. 이는 우리가 아직 상상하지 못한 더 많은 제품을 구축하고 데이터에서 올바른 패턴을 찾아 회원들이 자신에게 중요한 글로벌 문제에 전략을 집중하는 데 도움이 될 것이죠.

Scott의 강연에서 영감을 얻었나요? 등록그래프커넥트 유럽2016년 4월 26일 에서 진화하는 Graph Database 기술 세계에 대한 업계 최고의 프레젠테이션과 워크숍을 만나보세요.

• 세계경제포럼

---

에이치시스템즈의 LogTree는 Neo4j 기반 GraphRAG 플랫폼으로, 데이터를 자동으로 지식그래프화하고 자연어 질의로 즉시 답을 제공합니다.

👉 에이치시스템즈 홈페이지