Neo4j로 압도적인 속도와 확장성을 경험하세요

• Machine Learning

데이터 볼륨이 계속 증가하면서, 애플리케이션은 늘어나는 로드를 처리하기 위해 확장해야 해요. 확장(scaling up)과 확장(scaling out), 이 두 가지 접근 방식 모두 장단점이 있고, 어떤 방식이 최고인지는 애플리케이션의 구체적인 요구 사항에 따라 달라지죠. 하지만 온프레미스, 하이브리드, 클라우드 기반 등 어떤 아키텍처에서든 데이터 무결성과 성능은 꼭 유지되어야 해요. 올바른 접근 방식을 사용하면 데이터를 대규모로 효과적으로 관리해서 고성능 애플리케이션의 기반을 다질 수 있어요.

애플리케이션의 원활한 성능과 확장을 위해 모든 조직이 넘어야 할 과제들이 있어요. 몇 가지 한번 살펴볼까요?

• 데이터 세트가 커지고 조직이 분석 구현의 한계를 넓히면서, 쿼리의 복잡성이 엄청나게 증가했어요.
• 수정된 분석 및 쿼리, 새로운 데이터 세트, 계획 변경을 지원하기 위해 애플리케이션을 조정하는 민첩성은 상당한 변경 관리와 부담을 초래하죠.
• AI/ML 파이프라인의 발전과 배포, 그리고 이를 제공하는 데이터 소스의 유연성을 위해서는 더 쉽게 적응할 수 있는 스키마 모델이 필요해요.

이번 블로그에서는 확장성의 복잡성을 좀 더 유용한 방식으로 재구성하는 방법을 살펴보고, 소스와 패턴을 살펴보고, 확장성이 그래프에서 어떻게 나타나는지 보여드릴게요. 데이터 볼륨, 읽기 처리량, 쓰기 처리량 등 그래프 데이터베이스는 가 조직이 규모에 관계없이 실시간으로 데이터를 쿼리하는 데 도움을 줄 수 있어요. 이 접근 방식은 복잡한 결정을 신속하게 내리는 데 필요한 유연성과 속도를 제공하죠.

확장성은 복잡성 관리에 관한 것이에요.

일반적으로 데이터베이스 확장성에 사용되는 세 가지 축이 있어요. 첫 번째는 데이터 볼륨이에요. 즉, 데이터베이스 시스템은 성능 저하 없이 증가하는 데이터 양을 처리할 수 있어야 하죠. 두 번째 축은 읽기 처리량, 세 번째 축은 쓰기 처리량이에요. 이 세 축은 완전히 독립적이지 않고, 샤딩과 같은 데이터베이스 확장 기술에 결합되는 경우가 많아요. 샤딩에서는 데이터가 여러 조각으로 분할되어 여러 시스템에 분산되어서 증가하는 데이터 볼륨과 하드웨어 활용도를 모두 처리하는 거죠.

는 쓰기를 확장하는 것보다 그래프에서 훨씬 더 쉬워요. 대량의 읽기 요청을 지원하는 가장 효율적인 방법은 그래프를 저장하는 서버를 복제하는 것이에요.

그럴 때스케일링 그래프 쓰기는 간단히 하드웨어를 확장하거나, 그래프의 일부를 여러 서버에 분산하도록 선택하거나, 클라우드 배포를 선택해서 쓰기 성능을 높일 수 있어요.

는 캐싱되지 않은 경우보다 훨씬 뛰어난 성능을 제공해서, 전체 그래프에서 읽기 및 쓰기에 대해 더 빠르고 일관된 쿼리 응답 시간을 제공해요. 그래프에서 자주 액세스하는 부분에 대한 응답 시간이 가장 빠른 가변 응답 시간이 허용되는 경우, 애플리케이션에 최상의 환경을 제공하기 위해 모든 그래프를 메모리에 로드할 필요가 없을 수도 있죠. Neo4j는 캐시를 미리 준비하고 다시 시작한 후 메모리에 그래프 로드를 최적화할 수 있어요.

Neo4j의 클러스터 아키텍처는 유연한 수평 및 수직 확장 솔루션과 인메모리 그래프 캐싱을 제공하여 확장 및 성능 문제를 단순화해요. Neo4j는 또한 이러한 까다로운 문제를 스스로 해결할 필요가 없도록 클라우드 기반 DBaaS를 제공하죠. 이러한 민첩한 접근 방식을 사용하면 성능, 비용, 복잡성 균형을 유지하여 각 시스템 개발 프로젝트의 고유한 요구 사항을 해결할 수 있어요.
데이터 볼륨과 수평적 확장성은 확장성의 두 가지 명백한 측면이에요. 하지만 우리가 식별할 수 있는 다른 측면은 무엇이며, 더 중요하게는 이들 전반에 걸쳐 통일된 주제를 찾을 수 있을까요?

albelli 사용 사례에 대해 자세히 알아보기 .

애플리케이션 개발과 그것이 시간이 지남에 따라 어떻게 발전하는지 생각하기 시작하면 확장성에 대한 우려가 더 커지기 시작해요. 하나는 시스템에 대한 쿼리의 정교함이죠. 애플리케이션이 성장함에 따라 사용 사례는 점점 더 복잡해져요. 새로운 기능이 추가되고 사용자 경험이 더욱 풍부해지고 기존 데이터 간의 연결이 더욱 정교해지며 애플리케이션의 전반적인 쿼리의 크기, 복잡성, 액세스하는 데이터 양 및 전체 데이터베이스 스키마의 적용 범위가 증가하죠.

이 경우 확장성은 성능 저하나 쿼리 작성자에게 과도한 부담을 주지 않으면서 점점 더 복잡해지는 쿼리를 단순한 쿼리와 마찬가지로 쉽게 관리할 수 있는 시스템의 형태를 취해요.

Qualicorp Administradora De Beneficio CIO인 Ricardo Antonio Batista는 다음과 같이 말했습니다., "우리의 애플리케이션과 시스템은 260만 명 이상의 고객, 32,000개의 기업 계약, 100개의 서로 다른 보험 회사가 제공하는 10만 개가 넘는 다양한 건강 보험 옵션과 관련된 모든 프로세스의 복잡한 생태계를 관리하는 역할을 담당합니다. 해당 요구 사항과 관련된 데이터 관계의 복잡성과 대규모 운영 방법을 상상할 수 있습니다. 최고의 서비스를 제공하기 위해 Qualicorp에는 수백만 개의 관계를 실시간으로 관리하여 복잡한 내에서 귀중한 통찰력을 얻을 수 있는 비용 효율적이고 가용성이 높으며 확장 가능한 시스템이 필요했습니다. 데이터 생태계를 구축하기 위해 Google Cloud Platform(GCP)에서 실행되는 완전 관리형 클라우드 서비스인 Neo4j Aura를 선택했습니다."

Qualicorp 사용 사례에 대해 자세히 알아보기 .

쿼리 복잡성은 애플리케이션의 문제이므로 데이터베이스 측면에 미치는 해당 영향, 즉 스키마 복잡성도 인식해야 해요. 우리가 데이터를 가져오는 소스가 점점 더 많아지고 복잡해짐에 따라 데이터베이스에 저장하는 엔터티도 더욱 복잡해지죠. 새로운 유형이 추가되고 엔터티에 새로운 속성이 추가되며 인덱싱 구조도 다시 검토해야 해요. 결과적으로 특정 쿼리에 대해 결과 집합이 더 커질 뿐만 아니라 처리해야 할 조건도 더 많아져요. 보안에 대한 우려도 시간이 지나면서 진화해요. 운영이 더욱 복잡해짐에 따라 상황을 통제해야 하는 사용자와 역할도 늘어나기 때문이죠.

Neo4j의 수석 설계자 Chris Gioran은 이렇게 말했어요. "데이터에서 지식을 추출하는 건 더 이상 선택 사항이 아니에요. 데이터가 들어오는 순간부터 수명 주기 내내 조직의 모든 측면에 스며들어야 하죠. 이런 변화의 최전선에는 개발자가 있고, 개발자는 자기가 사용하는 도구가 아주 작은 트랜잭션부터 엄청 큰 분석 작업까지 확장될 수 있기를 기대해요. Neo4j는 전체 데이터 작업 스펙트럼에 걸쳐 바로 이런 유연성을 제공하고, Neo4j를 백엔드로 사용하면 애플리케이션은 실시간으로, 진정한 규모로, 그리고 지속적인 글로벌 가용성으로 통찰력을 제공할 수 있어요. 뿐만 아니라, Neo4j의 스키마 없는 데이터 모델은 변화하는 비즈니스 요구 사항에 맞춰 데이터 모델을 구축하고 발전시킬 때 정말 유용한 개념 우선 접근 방식을 제공해서 개발 속도를 높여주죠."

Neo4j의 무제한 아키텍처는 뛰어난 확장성과 함께 엄청 빠른 그래프를 제공해요.

Neo4j의 고성능 분산 클러스터 아키텍처는 실제 상황에서 데이터와 비즈니스 요구 사항에 따라 확장해서 비용과 하드웨어를 최소화하면서 연결된 데이터 세트 전체에서 성능을 극대화해요. Neo4j를 사용하면 이제 강력한 트랜잭션 보장, 수십억 개의 `Node`에 걸친 성능, 밀리초 응답 시간으로 수조 개의 `Relationship`을 달성할 수 있어요.

Neo4j의 분산 아키텍처는 이런 것들을 제공해요.

• OLTP의 지속적인 가용성
  • 더 빠른 장애 조치 시간
  • 다수(합의 커밋)가 있는 경우 클러스터 전체에서 커밋 보장
  • 쓰기 작업 전용 코어 서버 및 전용 읽기 전용 복제본
• 글로벌 가용성
  • 지리적으로 분산된 다중 데이터 센터 배포
• 대규모 하이브리드 클러스터
  • Neo4j Fabric을 사용하여 읽기 및 쓰기 집약적인 워크로드를 위한 사실상 무제한 확장
  • Fabric은 로컬 및 지리적으로 분산된 환경 모두에서 샤딩 및 페더레이션 기능을 제공해요.

자세히 알아보기: .

Graph Data Science 및 분석 읽기 확장

Neo4j Graph Data Science에는 강력한 그래프 분석, 세계에서 가장 광범위한 그래프 알고리즘 라이브러리, 그리고 유일한 그래프 내 ML 워크플로우가 포함되어 있어요. Graph Data Science는 엔터프라이즈 데이터 스택 및 파이프라인에 쉽게 통합되고, 프로덕션 데이터베이스와 결합되죠. 결과적으로 Graph Data Science는 최대 수천억 개의 `Node`와 `Relationship`을 지원하는 비교할 수 없는 규모의 고성능 그래프 알고리즘과 Machine Learning 모델을 지원해요. Graph Data Science는 몇 분 안에 테라바이트 규모의 데이터를 실행할 수 있는 강력한 그래프 알고리즘을 제공한답니다.

VYugma의 데이터 과학 이사이자 DSW 창립자인 Pritesh Tiwari는 이렇게 말했어요. "모든 데이터 과학 프로젝트에서 가장 시간이 많이 걸리고 필수적인 단계 중 하나는 데이터 탐색이에요. 모델 구축을 위한 중요한 기능을 식별하는 데 도움이 될 뿐만 아니라 데이터에서 숨겨진 패턴을 찾는 데도 도움이 되죠. 하지만 이 전체 프로세스는 매우 번거롭고 원하는 결과를 얻기 위해 정의된 방법론이 없어요. 여기서 Neo4j를 활용해서 데이터 간의 상관 관계를 미리 식별할 수 있고, 이는 효과적이고 설명 가능한 AI 모델을 구축하는 동시에 처리 시간을 줄이는 데 도움이 된답니다."

Neo4j Fabric을 사용한 샤딩 그래프 데이터

Fabric은 데이터 모델을 단순화해서 복잡성을 줄여 무제한의 확장성을 제공해요. Fabric을 사용하면 여러 데이터베이스에서 병렬로 `Query`를 실행해서 결과를 결합하거나 집계할 수 있어요. 또한 정교한 실시간 분석을 위해 여러 데이터베이스의 `Query`를 함께 연결할 수도 있죠. Fabric은 다음과 같은 다양한 이점을 얻을 수 있도록 도와줘요.

• 단일 클라이언트 연결 및 사용자 세션을 통해 액세스할 수 있는 로컬 및 분산 데이터의 통합 보기
• 읽기/쓰기 작업, 데이터 볼륨 및 동시성에 대한 확장성 향상
• 일반 작업, 장애 조치 또는 기타 인프라 변경 중에 실행되는 `Query`에 대한 예측 가능한 응답 시간
• 대용량 데이터에 대한 고가용성 및 단일 장애 지점 없음

Fabric에는 두 가지 작업 모드가 있어요.

• Sharding: 하나의 큰 그래프에 대해 작동
• Federation: 분리된 그래프에 대한 쿼리

Sharding

Neo4j를 사용하면 조직은 대규모 그래프 데이터 세트를 별도의 더 작고 빠른 청크(shard)로 분할하고 여러 시스템에 걸쳐 분산된 sharding 아키텍처를 사용하여 저장할 수 있어요. 그래프 데이터세트의 물리적 스토리지가 여러 서버나 클러스터에 분산되어 있어도 속도, 일관성 및 데이터 무결성은 유지되죠. 그래프를 분할해서 다음과 같은 것들을 할 수 있어요.

• GDPR과 같은 규정 준수를 위한 데이터 격리
• 사용자에게 더 가까운 세그먼트를 저장해서 다양한 지역의 쿼리 대기 시간을 최소화
• 정말 큰 그래프(수백억 개의 Node)를 더 작은 그래프로 분할해서 사용자가 원하는 성능을 유지하면서 더 작은 크기의 하드웨어에서 실행할 수 있도록 만들기

Federation

Sharding이 그래프를 나누는 반면, Federation은 여러 그래프를 하나로 모아서 분리된 그래프에 대한 쿼리를 가능하게 해줘요. IT부터 재무, 운영, 판매, HR, 마케팅, 제조 등에 이르기까지 조직 전반에 걸쳐 그래프가 있다고 상상해보세요. Neo4j는 Cypher의 강력한 기능을 활용해서 개발자가 이러한 그래프(스키마가 다른 경우에도)를 마치 하나의 큰 그래프인 것처럼 쿼리할 수 있도록 도와준답니다.

결과는요? 이제 기업의 Graph Database 생태계에 저장된 모든 데이터를 단일 Cypher 쿼리로 검색할 수 있다는 거죠! 이건 Graph Database 세계를 위한 완전히 새롭고 강력한 기능이에요.

Neo4j를 사용한 분석 확장에 대한 고객의 의견에 대해 더 자세히 알고 싶으신가요? Neo4j 연결 조정 - 대규모 기록에 따른 실시간 분석 그래프는 에서 확인해보세요. 자세한 내용은 사례 연구를 에서 확인하세요.

Adobe 제품군의 일부인 Behance는 창의적인 작품을 선보이고 발견하는 선도적인 온라인 플랫폼으로 3천만 명이 넘는 회원을 보유하고 있어요. 웹, 그래픽, 패션 디자이너, 일러스트레이터, 사진작가가 자신의 작품과 이를 제작하는 데 사용된 Adobe 소프트웨어를 매달 수백만 명의 방문자에게 선보이는 플랫폼을 제공하죠. 또한 전 세계적으로 창의적인 인재를 채용하려는 기업을 위한 최고의 온라인 목적지이기도 하고요.

Adobe의 수석 소프트웨어 엔지니어인 David Fox는 이렇게 말했어요., "Behance의 비즈니스 성공의 핵심은 활동 피드예요. 이 홈 화면은 매일 수백만 개의 경고와 업데이트를 보내 사이트 구성원이 새로운 작업과 프로젝트를 공유하고, 협업하고, 소통할 수 있도록 해주죠. Behance는 2011년에 활동 피드를 도입했지만 확장되면서 읽기 속도가 느려지는 성능 문제를 겪기 시작했어요. 2015년 Behance는 Behance가 모든 사용자를 자동으로 채울 수 있는 "팬아웃" 전략을 사용하여 읽기 문제를 해결했어요. 특히, 읽기 최적화된 데이터 모델로 인해 수천 명의 사용자가 조치를 취할 때마다 리소스 활용도가 급증했죠.
"앱이 성장하고 더 많은 사용자와 더 많은 데이터가 추가됨에 따라 우리의 인프라 전략은 더욱 문제가 되었어요. Neo4j는 문제를 해결하는 데 도움이 되었죠. Behance는 이제 단 3개의 Neo4j 인스턴스로 전체 활동 피드 인프라를 강화하고 있어요. 인적 유지 관리 시간이 단축되고 이전에는 12~30분 걸리던 업데이트가 이제 100밀리초 내에 실행돼요. 또한 Neo4j는 사용자의 가입부터 초기 활동까지의 평균 시간을 1.4초에서 400밀리초로 단축했어요. 성능이 크게 향상되고 복잡성, 스토리지 및 인프라 비용이 크게 감소한 것을 확인했죠. 이제 직원들은 인프라를 세부적으로 관리하는 데 시간을 허비하는 대신 인프라 개선에 집중하고 있어요.”

요약

• 다른 그래프 플랫폼에서는 몇 분 또는 몇 시간이 필요한 `Query`를 실행하는 데 밀리초가 걸려요.
• 진화하는 비즈니스 모델과 데이터 세트에 중단 없이 신속하게 적응할 수 있어요.
• 가장 크고 복잡한 엔터프라이즈 애플리케이션의 요구 사항을 충족하도록 확장 가능해요.
• 다른 데이터베이스보다 10배 적은 하드웨어가 필요한 경우가 많아요.
• SQL보다 10배 적은 코드로 개발자 생산성을 극대화할 수 있어요.
• 숙련된 그래프 개발자로 구성된 세계 최대 규모의 커뮤니티를 활용할 수 있어요.
• 이미 대다수의 글로벌 기업과 업계 리더가 선택했어요.

그래프 기술의 기본 사항에 대해 자세히 알아보세요. 초보자와 노련한 그래폴리트 모두를 위한 다양한 주제에 대해 당사의 기술 리더로부터 들어보세요.

후드 아래로 조정

Neo4j 그래프 데이터 플랫폼의 Total Economic Impact™
Neo4j 확장성

• AI/Machine Learning
• 그래프 기본 스케일

---

에이치시스템즈의 LogTree는 Neo4j 기반 GraphRAG 플랫폼으로, 데이터를 자동으로 지식그래프화하고 자연어 질의로 즉시 답을 제공합니다.

👉 에이치시스템즈 홈페이지