2023년 그래프 기술 전망: Neo4j와 GraphRAG의 미래는?

• Cypher & GQL
• Graph Data Science

Neo4j의 수석 과학자인 Jim Webber와 대화하는 건 언제나 즐겁죠! 그와 함께 코로나 시대의 어려움, Neo4j의 최근 제품 출시, APAC 및 그 이상의 그래프 생태계, 그리고 2023년 그래프 생태계에 대한 그의 예측 등 다양한 주제로 이야기를 나눌 기회가 있었어요. (힌트: 그래프는 절대 사라지지 않아요.)

그래프의 과거, 미래, 현재에 대한 그의 관점은 독자 여러분께 곧 어디에서나 볼 수 있게 될 이 기술에 대한 전문가의 시각을 제공해 줄 거예요. 우리 그라피스타들에게 다가올 멋진 한 해를 위해, 이 내용을 한번 살펴볼까요? 즐겁게 읽어주세요!

다니엘 응: 짐, 그거 예측이에요, 아니면 그냥 희망사항이에요?

짐 웨버: 그건 희망사항이죠, 다니엘. 보세요, 우리 모두 지난 몇 년간 정말 정신없는 시간을 보냈잖아요. 그걸 감안하면 2023년은 좀 차분한 해가 될 거라고 예측하는 건 꽤 대담한 걸지도 몰라요. 바라건대, 억지로 예측을 해야 한다면 2023년도 2022년만큼 정신없을 것 같아요.

다니엘 응: 아니면 그 이상일 수도 있겠네요.

짐 웨버: 아니면 그 이상이고요.

다니엘 응: 항공편 구하기도 2020년보다 더 쉬워지긴 힘들겠죠.

이번 코로나 시대를 되돌아보며

짐 웨버: 더 쉬워지진 않을 거예요. 결국 우리가 기술자로서 사람들에게 탄력적인 디지털 비즈니스를 구축할 수 있는 도구를 제공하는 게 중요한데, 2023년에는 비즈니스 환경이 점점 더 어려워지고 있다고 생각해요. 주요 경제국들이 불황에 빠져 있잖아요.

저는 지금 영국에 있는데, 상황이 정말 좋지 않아요. 어떤 사람들은 자해라고 할 수도 있지만, 아무튼 좋지 않은 상황이죠. 하지만 이런 역풍을 맞는 건 우리뿐만이 아니에요. 이게 중소기업, 중견기업, 대기업 모두에게 의미하는 건, 더욱 어려운 시기를 헤쳐나갈 수 있도록 탄력성과 효율성을 제공할 기술 백본을 찾고 있다는 거죠.

그래서 우리 모두는 지금까지 갇혀 있던 피난처에서 벗어날 기회를 찾기 위해 노력하고 있어요. 그러기 위해 점점 더 강력한 디지털 신경 시스템에 의존하게 될 거고, 저는 그런 강력한 디지털 신경 시스템을 갖춘 기업이 이 이상한 시대에서 더 빠르게 벗어날 거라고 생각해요.

그렇지 않고 아직도 수동으로 처리하는 사람들은 어려움을 겪을 거예요. 기회를 잡기가 힘들겠죠. 너무 일찍 뛰어들어서 위험을 감수하거나, 아니면 뒤처져서 중요한 기회를 놓치게 될 거예요. 그래서 2023년에는 유능한 디지털 비즈니스, 중요한 실제 업무를 수행하는 비즈니스의 성장을 기대하고 있어요. 이런 성장이 나머지 경제를 이전 모습과 비슷하게 회복시키는 데 도움이 될 거라고 생각해요.

다니엘 응: 네, 여기 APAC은 코로나19에 가장 먼저 직면했고, 또 가장 먼저 회복한 지역이라 축복받은 것 같아요. 저는 지금 싱가포르에 있는데, 디지털로의 전환이 정말 많이 일어나고 있어요. 강제적인 부분도 있고, 그냥 흐름을 타는 부분도 있죠. 하지만 짐의 말이 정말 맞아요. 이건 예측이 아니라, 오늘날 정부와 기업이 어떻게 변화하고 있는지 보여주는 현실이죠. 그리고 코로나 이후에는 모두가 "다음은 뭘까?"라고 생각하고 있어요.

짐 웨버: 맞아요, 호주와 뉴질랜드에도 계시죠? 아시아 전역에서 코로나19에 대한 대응은 정부마다 정말 달랐어요. 어떤 정부는 더 신중했고, 어떤 정부는 덜 위험을 회피했죠. 하지만 결국 거의 비슷한 출발선에 서게 된 것 같아요.

데이터에 구현된 기회를 포착할 준비가 된 지역, 국가, 주에서는 그렇지 않은 곳보다 더 빠르고, 더 좋고, 더 탄력적으로 일할 수 있을 거라고 생각해요. 중요한 건 이게 아시아 태평양 지역에만 국한된 일이 아니라는 거예요. 하지만 아시아 태평양 지역은 특히 성장이 기대되는 곳 같아요. 예를 들어 호주나 인도네시아 같은 아시아 태평양 지역의 경제는 항상 곧 성장해서 차세대 주역이 될 거라고 생각하잖아요.

제 생각에는 이 지역 전체가 가능성으로 가득 차 있고, 인프라를 활용해서 그 가능성을 현실로 만들 수 있을 때만 그럴 수 있을 거예요. 그렇기 때문에 데이터 제공자로서 Neo4j와 같은 회사가 해당 인프라의 핵심 블록이 되는 거죠. 내년에는 상황이 조금씩 정상으로 돌아가기 시작할 때, 사람들이 출발선에서 앞서 나갈 수 있도록 Graph 인프라를 통해 강력한 시스템을 구축하도록 도울 수 있기를 바라요. 물론 지금도 "조금씩 정상"이라는 말이 신중한 의견이라기보다는 터무니없는 추측처럼 들리긴 하지만요.

다니엘 응: 우리는 "New Normal"이라는 말을 많이 들었는데, 저는 사실 "No Normal"이라는 말에 더 끌려요.

짐 웨버: 그럴 수도 있겠네요. 2008년 이후로 '정상'이라는 건 사라졌으니까요. 앞으로 몇 년 동안 우리에게 "정상"이 뭘지는 아무도 모르죠. 지금은 패러다임 사이에 있는 것 같아요. 2008년에 적어도 금융화된 세계, 즉 서구에서는 바퀴가 빠져나갔고, 우리는 그걸 고치려고 오랫동안 애썼죠. 그러다가 민족주의 정치, 팬데믹 등으로 타격을 입었어요. 그리고 글로벌 금융 위기가 발생한 지 15년 후인 2023년의 세상은 완전히 달라 보인다고 생각해요. 과거로 돌아가서 2008년의 관점과 기술로 2023년을 고치려고 하는 건 정말 큰 실수일 거예요.

2022년 그래프 마일스톤

다니엘 응: 전적으로 동감해요. 그럼 거시경제적인 관점에서 좀 더 기술적인 관점으로 좁혀볼게요. 집중해주세요! 2022년에 대한 리뷰를 해볼 건데요. 짐, 2022년 그래프 기술의 주요 이정표는 무엇이었나요? 그리고 전 세계, 특히 APAC 지역의 기업과 정부에 어떤 영향을 미치고 있다고 생각하시나요?

짐 웨버: 네, 2022년은 정말 놀라운 한 해였던 것 같아요. Neo4j의 관점에서 보면, 올해는 우리가 경험한 것 중 가장 엔지니어링에 집중한 해였어요. 2022년에 우리는 200명의 엔지니어가 수년간 노력한 결과를 제품에 투자하고, 주고받았죠. 정말 놀랍지 않나요? 제가 12년, 13년 전에 Neo4j에 합류했을 때는 제품에 200년의 엔지니어링 시간을 투자할 수 있다는 건 상상도 못 할 일이었거든요.

우리가 10명도 안 되는 팀이었을 때는 모두가 엔지니어링을 한다고 해도 연간 최대 10년 정도의 엔지니어링 시간을 투자할 수 있었어요. 물론 그것도 쉽지 않았죠. 팀원 중 한 명이 너무 높은 위치에 있어서 더 이상 코딩을 할 수 없었으니까요.

하지만 보세요, 우리에게 일어난 일은 정말 다양하다고 생각해요. 우리는 Neo4j의 핵심 Graph Database의 매우 중요한 릴리스인 Neo4j 5를 출시했어요. 신뢰할 수 있는 디지털 백본이나 신경계를 원하는 기업들을 위한 거죠.

Neo4j 5는 Graph Database 기술에 있어서 큰 진전이에요. 스택의 모든 계층에서 전반적으로 효과적인 업데이트가 이루어졌죠. 쿼리 언어 스택에서 일부 쿼리는 이제 자율 클러스터라는 기능이 있는 클러스터링 스택을 통해 2~3배 더 빨라져요. 이에 대해서는 잠시 후에 다시 설명하겠지만, 이는 실제로 Neo4j 단일 목적 또는 다중 용도의 매우 큰 클러스터를 실행할 수 있다는 의미랍니다. 그리고 맨 아래에서도 그래프 데이터의 이동을 컴퓨터의 다양한 장치 간 바이트로 처리하는 데이터베이스의 핵심인 스토리지 엔진이 완전히 개선되어 더욱 빨라졌어요.

Neo4j 5와 자율 클러스터링, 게임 체인저!

짐 웨버: 핵심만 간단히 말하자면, 자율 클러스터링은 Neo4j의 큰 기능 중 하나이며 일반적인 기업 요구 사항을 해결한다고 생각해요. 제가 Neo4j에 있는 동안, 그리고 2022년에도 꽤 많이 본 것은 비즈니스, 특히 중견 기업과 대기업을 대상으로 더 많은 그래프를 작성하는 것이었어요.

몇 년 전 그들은 그래프에 발을 담그고 꽤 좋아했죠. 입소문이 퍼지면서 몇 가지 프로젝트가 비즈니스를 중심으로 유기적으로 나타났어요. 그런 다음 그들은 그것을 제도화했고요. 따라서 Neo4j는 선택한 Graph Database 또는 기본 Graph Database이지만, 많은 대기업의 경우 각 그래프를 별도의 클러스터로 실행하도록 만들었어요. 아키텍처 수준에서는 논리적으로 "글쎄, 괜찮아"라고 말할 수 있지만요.

그들이 정말로 원했던 것은 하나의 클러스터를 실행하고 그 클러스터에 각각 특정 부서나 비즈니스 요구 사항을 충족하는 많은 그래프를 갖는 것이었어요. 이것이 바로 자율 클러스터가 하는 일이죠. 이제 여러분은 "내 사업에는 내 그래프 워크로드를 실행할 서버가 10~100대 필요해요."라고 말할 수 있는 위치에 있는 거예요. 좋아요. 클라우드나 데이터 센터에서 이를 구현하죠. 이제 해당 서버에 대해 개별 사용자는 보안 권한이 허용되는 한 효과적으로 데이터베이스의 존재를 선언할 수 있어요.

그들은 "보세요, 저는 제품 카탈로그 담당자 중 한 명인데 데이터베이스가 필요해요. 그리고 3개의 중복성을 갖고 싶어요."라고 말하죠. 즉, 이 100개의 서버 주변에는 항상 내 데이터 복사본이 3개 있다는 뜻이에요. 예를 들어 영업 부서에 있는 Daniel은 "글쎄요, 판매 그래프가 필요하고 여기에는 좀 더 안전이 필요하고 이 그래프에서 좀 더 확장이 필요하기 때문에 5개의 중복성이 필요해요."라고 말할 수 있고요.

그것은 수백 개의 서버에 선언됩니다. 그리고 자율 클러스터링은 불변성, 즉 중복성 불변성이 항상 존재하도록 보장해요. 심지어 기계가 죽고 교체되는 경우에도 마찬가지죠. 또한 리소스에 대한 액세스를 놓고 다투지 않도록 데이터베이스를 이동시켜요.

따라서 예를 들어 매우 많은 쓰기 작업을 수행하는 두 개의 특정 데이터베이스가 있는 경우, 자율 클러스터는 이를 분리하여 상호적으로 가볍게 사용되는 서버에 있도록 하여 더 나은 처리량을 얻어요. 이것이 의미하는 바는, 특히 대규모 기업의 경우 단일 클러스터를 구현한 다음 직원들이 스스로 서비스를 제공할 수 있다는 것이죠. 그리고 대부분의 경우 클러스터는 자체적으로 관리해요. 즉, 사물을 이동하고, 나쁜 일이 발생하면 복구하는 등의 작업을 수행하죠. 제가 말했듯이 자율 클러스터는 그 기능에 대해 좋은 느낌을 줘요.

사용자 및 기업을 위한 Neo4j Operations Manager

짐 웨버: 게다가 우리는 운영에 중점을 둔 제품인 Neo4j Operations Manager도 출시했어요. 우리는 그것을 NOM이라고 부르는데, 맛있을 것 같네요. 실제로 해당 클러스터에 대한 인간의 운영 입력을 원하는 경우, Operations Manager는 이제 시스템에 대한 풍부한 대시보드를 제공해요.

우리는 운영 전문가가 시스템에 개입할 수 있도록 매우 의미 있는 방식으로 제공하기 위해 유용한 측정항목과 데이터를 수집하기 시작했어요. 더 많은 머신을 온라인으로 가져오고, 오래된 그래프를 삭제하고, 새로운 그래프를 생성하는 등의 작업을 수행하고 보안 로그를 확보하는 등 낮은 수준의 작업을 수행하고 모든 것이 괜찮은지 확인하죠. 그래프 친화적이고 그래프 친화적인 비즈니스에 종사하는 사람의 운영자로서 이제 여러분의 작업이 훨씬 더 즐거워졌다는 사실을 알게 될 거예요. 훨씬 적은 노력으로 더 많은 작업을 수행할 수 있을 것이고요.

실제로 최종 사용자는 훨씬 더 쉽게 그래프를 실현하고 그래프를 생성할 수 있게 돼요. 정말 행복한 일이겠죠? 귀중한 그래프가 많이 있다고 생각하고 Neo4j 클러스터링 소프트웨어 구축에 도움을 준 만큼 그 내용을 좋아하기 때문이에요. 매우 기술적이고 괴상하고 훌륭하지만 가치가 없어요. 그곳은 가치가 공개되는 곳이 아니죠. 비즈니스 문제를 해결하면 가치가 공개돼요. 따라서 운영 관련 작업과 모든 기술적인 괴상함을 통해 귀중한 비즈니스 문제를 해결하는 데 훨씬 더 가까워졌어요.

다니엘 응: 이제 많은 기술적인 부분에 NOM, NOM, NOM이 있으므로, 이것이 사용 사례나 산업에 가장 큰 영향을 미칠 수 있는 것은 무엇인가요? 비즈니스 관점에서 설명할 수 있다면 정말 좋을 것 같아요.

짐 웨버: 저는 그래프가 수평적 기술이라는 점을 항상 주장해왔고, 이것이 점점 더 분명해지고 있다고 생각해요. Neo4j에 합류하기 전 첫 번째 그래프 프로젝트인 그래프를 처음 시작했을 때, 기술에 대해 듣고 사업에 사용하고 있을 때 저는 통신 사업에 종사하고 있었는데 문제는 제품 추천이었어요. 그것은 정말 인간적으로 그래프로 모델링된 것으로 밝혀졌죠.

Neo4j에 합류하기 몇 년 전, 저는 사용자로서 제품 추천, 사기 탐지, 통신 및 데이터 네트워크의 단일 실패 지점 등에 관해 유사한 작업을 수행했어요. 그리고 수년 동안 Neo4j에서 지방 정부와 중앙 정부 수준 모두에서 의료 경로, 물류, 멋진 금융, 정부 관련 업무 등을 보았어요. 경찰, 정보 기관을 본 적이 있어요. 저는 그래프로 구축된 기차와 도시 대중교통 시스템을 본 적이 있습니다. 이는 매우 수평적인 플레이에요.

내가 현재 기회를 얻기 위해 어려운 데이터 문제를 해결하려는 기업이라면 해당 비즈니스에 참여하는 기술 담당자에게 다음과 같은 질문을 던질 거예요. "그렇지 않을 것이다 그래프를 선택하시나요?” 고충실도 모델이 필요한 시스템이 있고 많은 시스템에 고충실도 도메인 모델이 있는 경우, 그래프는 해당 데이터 모델을 캡처하고 충실도가 높고 복잡한 실제 데이터 모델을 시스템에 가져오는 가장 즐겁고 인도적이며 성능이 뛰어난 방법이에요.
모든 상호 연결성, 일부는 균일하고 일부는 균일하지 않고 일부는 밀도가 높으며 일부는 드물고 일부는 규칙적이며 일부는 불규칙한 모든 모델을 캡처해 보세요. 관계형 데이터베이스나 문서 데이터베이스 또는 열 데이터베이스를 사용하여 캡처해 보십시오.

저는 이 세 가지 범주 모두 훌륭한 데이터베이스라고 생각해요. 하지만 데이터가 딱 떨어지게 정형화되어 있지 않거나, 열 형태로 깔끔하게 정리되어 있지 않은 현실 세계의 모델을 캡처하려고 할 때, 이런 데이터베이스들은 연결성을 이해하지 못하기 때문에 어려움을 겪고 성능 저하가 발생하죠.

기술자로서 복잡한 도메인 모델을 가진 새로운 데이터 시스템을 구축해야 한다면, 2023년의 질문은 이거예요. 이 말을 듣는 모든 기술자들에게 도전하는 건데요. "왜 Graph가 첫 번째 선택이 되지 않아야 할까요?" 아마 과거에는 우리가 커뮤니티로서 Graph에 익숙해지는 과정이었기 때문에 이런 질문이 흔치 않았을 거예요. 저는 10년 넘게 Graph를 사용해 왔고, 항상 "왜 Graph를 선택하지 않겠어요?"라고 말해왔죠.

이제 운영 기반과 커뮤니티에 퍼져 있는 Graph에 대한 지식(이것 자체가 Graph죠!)을 고려하면, "이 프로젝트에서 Graph가 첫 번째 데이터베이스가 아닌 이유는 무엇인가요?"라고 자신 있게 물을 수 있어요. 많은 경우, 기술 전문가로서 프로젝트를 바라볼 때, 기존의 편견이나 선호하는 도구, 익숙한 도구 체인을 잠시 내려놓고 솔직하게 "사실 Graph가 내 요구 사항을 아주 잘 충족시킬 수 있겠네"라고 생각하게 될 거예요.

기업이 Graph 챌린지에 참여해야 하는 이유

짐 웨버: 물론, Daniel, 현실적인 부분도 있죠. 팀원 모두가 Graph를 잘 아는 건 아니고, 학습 곡선이 있을 거예요. 이 학습 곡선이 어떤 사람들에게는 맞지 않을 수도 있고, 예전처럼 문서나 관계형 데이터베이스로 돌아가려고 할 수도 있겠죠. 그리고 그런 기술을 사용해서 시스템이 어찌저찌 돌아가게 만들려고 더 열심히 노력해야 할 거예요.

하지만 도전을 받아들이는 사람들에게는 Graph 기술을 향상시키는 게 그렇게 큰 도전은 아니라고 생각해요. 수백만 명의 사람들이 겪는 학습 곡선을 극복하고 나면, 실제로 그렇게 어렵지 않다는 걸 알게 될 거예요. 극복하고 나면 정말 뿌듯할 거예요.

다니엘 응: 작년에 GraphSummit에서 저희를 도와주시면서 사람들이 "왜 Graph가 필요한지, Graph로 무엇을 할 수 있는지, 그리고 Graph를 어떻게 사용할 수 있는지"를 이해하도록 도와주셨죠. 올해 GraphSummit도 다시 열릴 예정이고, 여기서도 뵙기를 바라요.

APAC 지역을 살펴보면, Jim, 저는 이런 생각을 해요. 사람이 많을수록 데이터도 많아진다는 거죠. 왜냐하면 사람이 데이터를 생산하니까요. 실제로 세계 4대 인구 중 3개가 인도와 인도네시아를 포함한 APAC에 있어요. 그래서 "수집하고 활용해야 하는 데이터가 너무 많기 때문에 대규모 기술이 필요하다"고 말하는 중요한 동기가 되는 거죠.

2023년 Graph 예측

다니엘 응: 예측에 대해 좀 더 자세히 알아볼까요? 너무 욕심부리지 말고 한 10개 정도... 아니, 3부작 정도로 하는 게 좋을 것 같아요. Graph 세계가 2022년부터 2023년까지 우리가 물려받은 시장과 비교해서 비즈니스 규모를 확장하고 더 빠르게 운영하는 데 어떻게 도움이 될지에 대한 예측을 어떻게 보시는지 궁금해요.

짐 웨버: 그 부분에 대해 다시 생각해볼게요. 제가 아시아 태평양 지역에서 팀과 함께 시간을 보낼 수 있었던 건 정말 행운이었어요. 거기서 만난 사람들 중에는 Graph를 정말 좋아하는 사람들이 많았죠. 솔직히 제 일자리가 불안할 정도로 Graph에 능숙한 사람들이 이 지역 전체에 있다는 게 분명했어요. 정말 대단했죠.

그리고 스스로를 숙련자라고 생각하거나, Graph 작업을 조금 해본 초보자라고 생각하면서 기술을 향상시키거나 더 많은 것을 배우고 싶어하는 사람들이 많아요. 또, 완전히 새로운 사람들, Graph에 대해 들어본 적은 있고 Graph가 자신에게 어떤 도움이 될지 조금은 이해하는 호기심 많은 사람들도 있죠. 일반적으로 그들은 열린 마음으로 배우고 싶어해요.

제가 여러분과 함께 그곳에 있었을 때, 진정한 모션 빌딩의 느낌을 받았어요. 사람들은 Graph Database에 관심이 있거나, 데이터 과학 세계에서 온 비교적 새로운 커뮤니티이기 때문에 저희를 찾아왔어요. 그들은 Graph가 자신들에게 뭔가를 해줄 수 있다는 암시를 갖고 있었죠. 실제로 저희에게 와서는 "이것의 낮은 수준의 물린 완충 장치에 대해 말해주세요."라거나 "백업에 어떻게 액세스하나요?" 같은 질문을 하는 사람은 아무도 없었어요.

대부분의 사람들은 전반적으로 비즈니스 문제의 핵심에 집중하고 있었는데, 그게 정말 놀라웠어요. 지역 전체에 걸쳐 커뮤니티가 훌륭하게 혼합된 것처럼 느껴졌지만, 아마 세 가지 트렌드가 있을 거라고 믿게 되었어요. 제 머릿속에 있는 세 가지와 일치하기 때문에 3부작을 제안해주셔서 감사해요.

짐 웨버의 트렌드 3부작

짐 웨버: 세 가지가 정말 중요할 거예요. 첫 번째는 Graph Database예요. Neo4j의 핵심 사업이기 때문에 굳이 말할 필요도 없다고 생각해요. 사업을 시작했을 때, 우리는 어려운 비즈니스 문제를 해결할 수 있는 새로운 종류의 데이터베이스를 구축하는 데 집중했죠. Graph Database는 올해 더 많은 사람들이 선택하게 되면서 엄청나게 성장할 거라고 생각해요.

APAC 커뮤니티를 생각해보면, 초보자는 전문가가 되고, 새로운 사람들은 초보자와 숙련자가 되는 등 성장할 거예요. 그 피라미드의 기반은 커질 것이고, Graph Database는 그 모든 것을 뒷받침할 거예요. 이 기술을 채택하는 기업에게는 엄청난 가치가 있죠.

두 번째로 말씀드리고 싶은 것은 Graph 데이터 과학이에요. 이제 Graph 데이터 과학은 비록 작은 출발점에서 시작했지만, Graph Database보다 빠르게 성장할 거라고 생각해요. Graph 데이터 과학의 개념은 Graph의 토폴로지를 가져와서, 토폴로지가 없는 다른 데이터 모델에서는 할 수 없는 훨씬 더 풍부한 방식으로 데이터를 분석할 수 있다는 거예요.

Machine Learning 요소도 해당 버킷에 넣을 거예요. 일단 토폴로지가 있고, 예를 들어 예측 모델을 구축하기 위한 feature를 추출하려는 경우, Graph의 토폴로지 feature, PageRank 또는 중심성 점수 등을 더 나은 예측 모델을 만들기 위한 feature로 사용할 수도 있기 때문이죠.

그래서 그것들을 하나로 묶을게요. Graph 데이터 과학과 Machine Learning 움직임도 거대해질 거라고 생각해요. 사람들은 이미 많은 양의 데이터를 가지고 있어요. 이걸 통해 비즈니스 혜택을 얻을 수 있기 때문에 해당 데이터를 Graph로 보도록 권장할 거예요. 분류기 점수를 10% 향상시키는 것만으로도 엄청난 비즈니스 이점을 얻을 수 있어요. 이는 Graph feature를 다른 feature와 혼합해서 수행할 수 있는 작업이죠.

세 번째로 증가할 점은 여기 Neo4j에서 볼 수 있는 측정 항목을 통해 어느 정도 검증되었는데, 점점 더 많은 사람들이 먼저 클라우드로 이동하고 있다는 거예요. Neo4j의 역사 대부분에서 우리는 데이터베이스를 구축하고 논리적으로 CD ROM을 귀하에게 게시했으며 귀하는 이를 설치했어요. 설정을 더블클릭하세요.

다니엘 응: 컴퓨터 얘기는 꺼내지 마세요!

좋은 시절이었죠. 하지만 대규모 금융 기관이나 정부처럼 인프라를 갖추고 데이터 센터를 직접 운영하는 조직에게는 딱 맞는 방식이었을 거예요. 데이터 센터 소유를 원치 않거나, 그게 전략적으로 중요하지 않은 다른 많은 분들은 클라우드 환경에서 Graph Database를 사용하고 싶어 하셨죠.

이제 2023년! Neo4j는 드디어 해냈어요. AuraDB라는 시스템을 갖게 되었거든요. 이건 AWS, Azure, GCP, 이렇게 3대 클라우드에서 돌아가는 서비스형 Neo4j 데이터베이스예요. 그리고 Aura DS, 즉 Aura Data Science라는 서비스도 있죠. 이건 서비스형 그래프 데이터 과학이라고 할 수 있어요.

이런 기능들을 사용할 수 있게 되면서, 특히 그래프를 처음 접하는 분들이나 커뮤니티의 새로운 분들은 클라우드를 기본으로 사용하게 될 거라고 생각해요. 2023년은 클라우드가 우리에게 큰 힘이 될 것 같아요. Data Science도 마찬가지고요. 물론, 데이터베이스 자체가 계속 성장할 거라는 얘기도 빼놓을 수 없겠죠? 데이터베이스는 여전히 성장세니까요, 다니엘.

Graph Database의 성장과 지속성

지난 10년 동안 Graph Database는 현대적인 기준으로 최대 400%까지 성장했고, 그 성장세는 멈출 기미가 안 보여요. 통계에 관심 있는 분들은 이렇게 말할 수도 있겠죠. "짐, 2012년에 설치 기반이 10개였을 때는 400% 성장하기 쉬웠겠죠." 하지만 지금은 설치 기반이 수만 개가 넘고, 여전히 400% 성장하고 있어요. 오픈 소스나 Neo4j, 오픈 소스 방식으로 사용하는 분들까지 포함하면 훨씬 더 많겠죠. 이렇게 큰 설치 기반으로 매년 400%씩 성장한다는 건 더 이상 틈새 시장이나 작은 트렌드가 아니에요. 2023년 이후에도 데이터가 폭발적으로 증가하는 거대한 흐름이라는 거죠.

Neo4j는 사람들이 Graph Database를 더 쉽게 사용할 수 있도록 노력하고 있어요. AuraDB를 무료로 제공하고 있고, 실제로 바로 로그인해서 무료로 사용해 볼 수도 있고요.

맞아요. Neo4j Desktop 앱을 써서 노트북에 Neo4j를 다운로드하는 대신, 무료 클라우드 서비스를 쓰고 싶다면 AuraDB Free를 사용하면 돼요. 다니엘 덕분에 제가 Neo4j에서 일하는 걸 좋아하는 이유가 다시 떠올랐어요. 우리가 무료로 뭔가를 제공한다는 게 대단한 일은 아니지만, Neo4j에는 제가 항상 높이 평가하는 인간적인 면모가 있거든요.

예를 들어, "여기 무료 데이터베이스가 있고, 그걸 기반으로 작은 시스템을 만들 수 있어요." 같은 거죠. 작은 시스템을 돌릴 수 있고, Cypher Query Language도 사용할 수 있고요. 기술적인 얘기로 돌아가서 죄송하지만, Cypher Query Language는 사용하기 쉽도록 특별히 설계됐어요. 우리 모두 다른 쿼리 언어에 대한 경험이 있잖아요.

SQL도 다들 봤을 거고요. 사실 Neo4j는 최초의 최신 그래프 쿼리 언어인 Gremlin을 개발했지만, Cypher도 만들었어요. 왜냐하면 다른 언어들을 살펴보니 추론하기 어렵고, 읽기 어렵고, 디버그하기 어렵다는 걸 알게 됐거든요. 저희 엔지니어링 팀은 Microsoft VISIO를 정말 좋아했어요. 그래프, 원, 화살표 그림을 그리고 화살표 안에 작은 라벨을 쓰곤 했죠.

그러던 어느 날 엔지니어 한 명이 "우리가 다이어그램을 많이 공유하니까, 쿼리 언어로 그림을 그리고 그걸 사용해서 데이터베이스에 데이터를 저장하고 쿼리할 수 있다면 좋지 않을까?"라고 말했어요. 물론 다들 웃으면서 "시각적 언어는 안 될 거야"라고 했죠. 제 박사 학위가 시각 언어 분야였거든요.

저는 시각적 언어가 작동하도록 만들기 위해 정말 애썼어요. 하지만 몇몇 분들이 이 아이디어를 열심히 파고들어서 지금의 Cypher에서 볼 수 있는 멋진 ASCII를 만들어냈죠. 이건 최종 사용자, 심지어 기술 지식이 없는 최종 사용자와 그들의 데이터 사이의 격차가 크게 줄어든다는 걸 의미해요. 그래프와 Neo4j를 사용할 때 정말 좋고 따뜻하게 느껴지는 점은, 일반 사람들이 데이터에 더 쉽게 접근할 수 있도록 진입 장벽을 낮추기 위해 끊임없이 노력한다는 거예요.

Cypher 쿼리를 직접 작성하지 못하더라도 Bloom 시각화 도구를 사용하면 자연어 쿼리를 입력할 수 있고, Bloom이 내부적으로 Cypher로 바꿔줘요. 그러면 그래프가 추천 사항을 보여줄 수도 있고요. 일종의 그래프 기반 자동 완성 기능인데, 데이터를 다루는 정말 좋은 방법이기도 하죠.

사실 이번 주 초에 영국에서 한 고객사를 만났는데, 큰 통신사이자 미디어 회사였어요. 그분들이 저에게 "처음으로 상사에게 그래프를 보여줬는데, 데이터를 직접 볼 수 있게 되자 정말 놀라워하셨어요"라고 말씀하시더라고요. 사람과 데이터 사이의 장벽을 허무는 건 정말 멋진 일이에요.

딱 맞는 표현이 있죠. "말 한마디에 천 냥 빚을 갚는다"!

"천 마디 말보다 한 장의 그림이 낫다" 또는 좀 더 기술적으로 표현하면 "당신이 그리는 것이 당신이 저장하는 것이다"라고 할 수 있겠네요. 이게 바로 Neo4j 엔지니어링 팀이 중요하게 생각하는 부분이에요.

정말 멋지네요. 저희는 AuraDB 전문가도 보유하고 있어요. 특히 APAC 지역에 계신 분들에게는 정말 의미가 클 거예요. 왜냐하면 이 지역에는 SMB 기업이 많고, 대기업과는 완전히 다른 비즈니스 모델을 가지고 있거든요. 대기업의 경우에도 부서 차원에서 AuraDB 전문가 그래프를 시작점으로 삼아서 "일단 한번 시도해 보자. 아직 완전히 도입하고 싶지는 않아"라고 말할 수도 있고요. 그래서 저희는 사람들이 더 쉽게 사용할 수 있도록 만들고 있어요.

짐, 2023년은 그래프 기술이 더욱 풍성해지는 변곡점을 맞이하는 중요한 해가 될까요?

2023년: 그래프 기술의 중요한 해

변곡점을 향해 나아가는 동안에는 선형적으로 보이기 때문에 변곡점을 정확히 짚어내기가 어려워요. 미시적으로 보면 변곡점은 마치 그라데이션이 있는 선처럼 보이죠. 변곡점을 지나고 나서야 축소해서 볼 수 있고, 변곡점을 회고적으로 판단할 수 있게 돼요. 솔직히 말하면, 저도 잘 모르겠어요, 다니엘. 제가 확실히 아는 건 앞서 말씀드린 것처럼 그래프가 매년 400%씩 성장해 왔다는 거예요. 앞으로도 매년 400%씩 계속 성장할 수 있다면, 실리콘 밸리 사람들이 말하는 "하키 스틱 곡선"을 그리게 되겠죠. 2023년에 그런 일이 일어날지는 모르겠지만, 그래프가 다시 한번 엄청나게 성장할 거라고 확신해요.

올해 4배 성장을 예상한다면, 정말 거대한 시장인 거죠. 그래프를 접하고, 그 안에서 가치를 얻고, 사용하는 걸 즐기는 사람들이 정말 많아요. 어쩌면 데이터 기술에 대한 사랑이 다시 불붙을지도 모르겠어요. 음, 이게 바로 변곡점일까요? 아직은 확실히 말하기 어렵지만, 10년 뒤에 2023년을 다시 돌아보면 명확한 답을 얻을 수 있을 거예요. 그때는 2023년이 변곡점이었다는 게 분명해질 테니까요.

하지만 분명한 건 그래프는 2023년에 강세를 보일 거고, 앞으로도 계속 성장할 가능성이 높다는 거예요. 물론 저는 편향된 시각을 가지고 있고, 그래프를 정말 좋아하고 깊이 빠져있긴 하지만요. 지금 업계 분석가들이나 Gartner 같은 곳을 보면, 꽤나 보수적인 입장을 취하고 있다는 걸 알 수 있어요. 제 생각엔 그분들은 고객에게 섣불리 6개월 안에 사라질지도 모르는 틈새 기술을 추천하고 싶어하지 않는 것 같아요.

기술이 얼마나 오래 지속될지, 합법적인지, 수명이 얼마나 될지 확인하고 싶어하는 거죠. 그런데 이제는 모두가 그래프에 대해 이야기하고 있어요. 지난 몇 년 동안도 그랬지만, 이제는 2025년까지 Machine Learning의 50%가 그래프와 관련될 거라는 놀라운 예측도 나오고 있어요. 이런 놀라운 통계는 그래프가 전 세계적으로 얼마나 빠르게 성장하고 있는지를 보여주는 거죠. 특히 APAC 지역의 기술적인 저력을 생각하면, 그래프가 다른 지역보다 훨씬 빠르게 성장할 거라고 믿을 만한 이유가 충분하다고 생각해요.

다니엘 응: 감사합니다. 온라인 도박이나 온라인 전자 상거래를 생각해 보면, 사이버 보안이나 사기 탐지와 같은 주요 동인이 많다는 걸 알 수 있어요. APAC은 이런 분야에서 거대한 시장이죠. 그래서 저는 정말 긍정적으로 보고 있어요. APAC의 인력 규모와 여러 동인들을 고려하면, 변곡점 여부와 관계없이 우리는 계속 성장할 거고, 아주 잘 해낼 수 있을 거예요.

Jim, 마지막으로 요약하자면, Graph Database, 그래프 데이터 과학, 클라우드를 통한 전달 메커니즘에 대해 이야기해주셨는데요. 그래프를 발전시키는 여러 요소에 대해 말씀해주셨어요. 이번 웨비나의 최종 요약은 무엇일까요?

짐 웨버: 올해는 정말 기대돼요. APAC과 전 세계 커뮤니티는 정말 놀라워요. 사람들이 구축하고 있는 시스템들을 보면 솔직히 감탄하게 돼요. 사람들이 저에게 자신이 뭘 만들고 있는지 이야기해주는 게 제 직업의 가장 멋진 점이죠. 그리고 그들은 12년 동안이나 저를 놀라게 해왔어요. 2023년도 다르지 않을 거라고 생각해요. GraphSummit에 가면 사람들이 제 어깨를 툭 치면서 뭔가를 이야기해줄 거고, 그게 잠시 동안 저를 당황하게 만들겠죠. 그러다가 갑자기 '아하!' 하는 순간이 올 거예요.

제 생각에 2023년에는 사람들이 그래프를 사용해서 정말 놀라운 시스템을 구축할 거예요. 2022년이나 그 이전에는 불가능해 보이거나 상상조차 할 수 없었던 것들이요. 사람들은 그래프를 보면서 놀라운 아이디어를 떠올릴 거예요. 그리고 저는 이 지역 전체에서 이런 일들이 더 많이 일어날 거라고 생각해요.

앞서 호주나 인도네시아를 언급했는데요. 두 나라 모두에서 일이 본격적으로 시작되고 있다고 생각해요. 올바른 기술적 기반이 있고, 새로운 것에 대한 갈망이 있으며, 과거의 제약에 얽매일 필요가 없고, 앞으로 나아가는 데 도움이 될 문화가 있다고 말씀드렸죠.

저는 2023년에 그래프가 크게 성장할 거라고 생각해요. 만약 여러분의 비즈니스에서 아직 그래프를 활용하고 있지 않다면, 어딘가에 그래프가 존재하고 있고, 동료 중 일부가 그걸 다루고 있으며, 곧 여러분에게도 다가올 거라는 걸 기억하세요. 미리 준비하세요! Neo4j.com에 오셔서 GraphAcademy 강좌를 수강하고, 무료 eBook을 다운로드하고, 다른 사람들과 이야기를 나눠보세요. 여러분의 지역에 커뮤니티가 있는데, 이 커뮤니티가 여러분의 기술 향상을 도와줄 거예요. 그리고 저 같은 옛날 데이터 전문가들은 이제 컴퓨팅 측면, 즉 그래프 데이터 과학이 그래프 컴퓨팅이라는 점을 깨달아야 해요.

대학에서 컴퓨터 과학을 공부한 사람들은, 좋든 싫든 그래프 알고리즘 같은 것들에 대한 기억을 떠올리게 될 거예요. 비즈니스 의사 결정권자, 즉 IT 담당자에게 문제 해결을 요청하는 사람들은 더 이상 비즈니스 요구 사항을 충족하지 못하는 데이터 모델에 얽매일 필요가 없다는 걸 알아야 한다고 생각해요.

그래프는 비즈니스 요구 사항을 충족하는 유연한 데이터 모델이에요. 그리고 IT 직원이 "안 돼요"라고 말한다면, "글쎄요, 이걸 위해 그래프 기술 사용을 고려해본 적이 있나요? 그 영국인 말을 들어보니 그래프가 복잡한 도메인 모델도 처리할 만큼 충분히 유연하다고 하던데요."라고 말할 수 있어야 해요. 그리고 IT 담당자가 여전히 "안 돼요"라고 말한다면, "왜 이걸 시도해보지 않았죠? 이게 우리에게 특별한 도움이 될 수 있을 텐데요."라고 말할 타당한 이유가 있다고 생각해요.

자, 여러분! 파도가 몰려오고 있어요. 다니엘, 앞서 말씀드린 것처럼 이게 변곡점일까요? 글쎄요, 잘 모르겠어요. 그게 변곡점인지 아닌지는 몇 년 후에나 알 수 있겠지만, 확실한 건 그래프는 사라지지 않을 거라는 거예요. 계속 성장하고 있을 뿐이죠. 따라서 Deep Learning 기술 전문가와 분석가, 그리고 비즈니스 사용자 전반에 걸쳐 올해 그래프가 상당한 영향을 미칠 거라고 예상돼요.

Neo4j 기술을 한 단계 더 발전시키고 싶으신가요? 온라인 교육 강좌 중 하나를 수강하거나 인증을 받아보세요. GraphAcademy에서 레벨 업!

• 2023년 예측
• APAC
• Graph Data Science

---

에이치시스템즈의 LogTree는 Neo4j 기반 GraphRAG 플랫폼으로, 데이터를 자동으로 지식그래프화하고 자연어 질의로 즉시 답을 제공합니다.

👉 에이치시스템즈 홈페이지