- Machine Learning
생성적 AI 도구와 기술의 개발은 AI 환경을 완전히 바꿔놓았죠.
불과 몇 년 전만 해도 사용자를 이해하고 응답하는 지능형 기계는 SF 영화에서나 볼 법한 일이었어요. 마치 스타트렉에 나오는 장면 같았죠. 하지만 지금은 ChatGPT 같은 Large Language Model(LLM)이 우리 손끝에서 프롬프트를 기다리고 있다니, 정말 놀랍지 않나요? 미래가 바로 눈 앞에 펼쳐진 것 같아요.
Knowledge Graph는 복잡한 분석, 구조화된 표현, 그리고 Semantic Search로 유명한 또 다른 트렌디한 기술이에요. LLM을 보완해서 AI를 더 똑똑하게 만들어주고, 결과물의 정확성과 신뢰성을 높여준답니다.
이번 블로그 포스팅에서는 이 두 가지 강력한 AI 기술을 함께 사용하는 방법에 대해 알아볼 거예요. 주요 사용 사례, 예시, 그리고 시작하기 위한 팁까지 준비했으니, 함께 살펴볼까요?
LLM(Large Language Model)이란 무엇일까요?
2022년 초만 해도 회사 챗봇을 만들려면 Machine Learning 전문가 팀을 꾸려서 처음부터 맞춤형 AI 모델을 구축하고 학습시켜야 하는 경우가 많았어요. 하지만 LLM 모델이 등장하면서 진입 장벽이 확 낮아졌죠. 이제 ChatGPT에게 요청해서 고급 AI 작업을 수행할 수 있게 되었으니까요.
OpenAI의 GPT 시리즈처럼, LLM은 대규모 Natural Language Processing을 기반으로 하는 Machine Learning 모델의 한 종류예요. GenAI의 중요한 부분이라고 할 수 있죠. LLM은 사람과 비슷한 텍스트를 이해하고 생성할 수 있거든요.
LLM은 광범위한 인간 지식과 의사소통을 포괄하는 다양하고 방대한 텍스트 자료를 학습했어요.
LLM의 진짜 힘은 순차적인 데이터를 해석하고 관리하는 데 뛰어난 Transformer 모델을 기반으로 하는 Deep Learning 아키텍처에 있어요. 덕분에 언어의 맥락과 뉘앙스를 능숙하게 이해하고, 콘텐츠 생성, 텍스트 요약, 언어 번역, 챗봇, 기술 지원 같은 애플리케이션에 활용할 수 있는 거죠.
하지만 편향이나 환각 같은 문제들을 관리하는 건 LLM을 개발하고 배포하는 사람들에게 여전히 어려운 과제랍니다.
Knowledge Graph란 무엇일까요?
Knowledge Graph는 상호 연결된 엔터티 네트워크의 정보를 나타내는 고급 데이터 구조예요. 지식 표현이라는 인공지능 분야의 오랜 연구 역사와 관련이 깊죠.
엔터티와 관계의 유형을 설명하는 온톨로지를 추가하는 건 Knowledge Graph를 강화하는 일반적인 방법이에요. 이렇게 의미 계층을 추가하면 Knowledge Graph 안에 있는 내용을 통일된 방식으로 일관성 있게 설명할 수 있죠. 온톨로지는 Knowledge Graph 데이터 내용에 대한 중요한 맥락을 제공해서 데이터를 더 쉽게 이해하도록 도와줘요. (자세한 내용은 개발자 가이드: Knowledge Graph 구축 방법을 참고하세요.)
Knowledge Graph + LLM:
LLM은 Knowledge Graph에서 정보를 검색하는 걸 훨씬 간단하게 만들어줘요. 데이터 전문가 없이도 다양한 목적으로 복잡한 데이터에 사용자 친화적인 접근이 가능하게 된 거죠. 이제 기존 프로그래밍 언어를 사용해서 데이터베이스를 검색하는 대신, 누구나 직접 질문하고 요약된 내용을 얻을 수 있어요.
Knowledge Graph는 구조화된 데이터와 구조화되지 않은 데이터를 모두 표현할 수 있어서 LLM을 기반으로 하는 믿을 만한 선택지예요. Vector Database와는 달리 말이죠. 이 기술을 Retrieval-Augmented Generation (RAG)이라고 부른답니다.
먼저, LLM은 search, 즉 벡터 검색과 Semantic Search를 이용해서 Knowledge Graph로부터 관련 정보를 추출해요. 그런 다음 Knowledge Graph의 맥락 데이터를 이용해서 응답을 augment하죠. 이 GraphRAG 프로세스는 더 정확하고 맥락에 맞는 출력을 생성하면서 동시에 허위 정보(또는 LLM hallucination)를 줄여준답니다.
Generative AI 사용 사례: 최고의 LLM + Knowledge Graph 세션
이 모든 게 실제로 어떻게 보이는지 궁금하시다면, Neo4j의 연례 개발자 및 데이터 과학 컨퍼런스인 NODES 2023에서 제가 가장 좋아하는 상위 5개 세션을 골라봤어요. 이 Generative AI 사례와 애플리케이션을 자유롭게 살펴보시고 여러분의 생각을 알려주세요! 이 세션들은 LLM과 Knowledge Graph를 결합하는 모범 사례를 다루는 아주 기술적인 내용들이에요.
1. Docker의 새로운 GenAI 스택을 사용하여 앱 구축, LangChain, Ollama 및 Neo4j
오스카와 해리슨은 컨테이너 내부를 자세히 들여다보면서 GenAI Stack이 어떻게 함께 작동하는지, 그리고 LangChain, Knowledge Graph 및 Streamlit Python 앱을 구현하는 방법을 설명해 줍니다. StackOverflow에서 데이터를 가져와서 자체 GenAI 애플리케이션을 구축하고 실행하는 과정을 보여주죠.
2. LLM을 사용하여 구조화되지 않은 데이터를 Knowledge Graph로 변환
Noah는 상호 연결된 Knowledge Graph를 생성하기 위해 엔터티 추출, Semantic 관계 인식 및 컨텍스트 추론에 LLM을 사용하는 방법을 보여줘요. 구조화되지 않은 데이터를 사용하기 위해 LLM을 활용하는 데 큰 영감을 주죠!
3. LLM 기반 Natural Language 쿼리를 사용하여 그래프 대시보드 만들기
Niels는 NeoDash와 OpenAI를 사용하여 Natural Language로 Neo4j LLM 대시보드를 만드는 방법을 보여줘요. 새로운 플러그인을 사용하면 Cypher를 작성하지 않고도 Neo4j 데이터를 테이블, 그래프, 지도 등으로 시각화할 수 있다니 정말 멋지죠?
4. LLM 및 Knowledge Graph를 통한 사이버 공격 대응 생성
Gal은 취약점 설명에서 구체적인 대책을 자동으로 식별하고 포괄적인 단계별 가이드를 생성하는 혁신적인 솔루션을 선보입니다. 생성적 LLM(Large Language Model)과 NeoSemantics가 제공하는 Knowledge Graph의 하이브리드 접근 방식을 사용한다니, 정말 흥미롭죠?
5. 텍스트-Cypher 번역을 위한 오픈 소스 LLM Fine-tuning
Jonas는 Large Language Model을 Fine-tuning하여 Natural Language 입력에서 Cypher 문을 생성, 사용자가 Cypher에 대한 지식 없이도 Neo4j 데이터베이스와 직관적으로 상호 작용할 수 있도록 하는 방법을 보여줍니다.
이것만으로는 부족하다면, 전체 내용을 확인해 보세요! 노드 2023 재생목록에는 Knowledge Graph와 AI에 관한 100개 이상의 기술 동영상이 준비되어 있답니다.
저희의 다른 Neo4j와 LLM이 어떻게 협력하는지 알아보기 위한 블로그 게시물도 읽어보세요.
Neo4j 및 LLM 시작하기
무료 과정: Neo4j 및 LLM 기초
우리는 무료 GraphAcademy 강좌에서 Langchain을 사용해서 Neo4j Knowledge Graph와 Generative AI 모델을 통합하는 방법을 설명하고 있어요.
GenAI용 Neo4j + AWS
Neo4j는 공식적으로 AWS와 제휴해서 LLM 환각 같은 GenAI 문제를 해결하고 있어요. Neo4j AuraDB Pro는 이제 기본 모델을 사용해서 GenAI 앱을 구축하고 확장하는 가장 간단하고 강력한 방법 중 하나인 Amazon Bedrock과 매끄럽게 통합되죠.
개발자 가이드: Knowledge Graph 구축 방법
이 개발자 가이드는 여러분이 자신감을 가지고 Knowledge Graph 구축을 시작하기 위해 알아야 할 모든 것을 안내해 줄 거예요.
- AI Knowledge Graph
- Generative AI 사용 사례
- 랭체인 Knowledge Graph
- LLM Knowledge Graph
- neo4j llm
- Retrieval-Augmented Generation