Neo4j와 Unreal Engine으로 만드는 대화형 인공지능, 그 두 번째 이야기

• Machine Learning

Embodied Conversational Agents 설계를 지원하는 Knowledge Graph를 작성하고 분석하는 인문학 연구자의 역할을 설명한 다음, 어느 정도의 기술 애플리케이션에서 이 지식을 연결하는 방법을 살펴볼게요. , 즉 Machine Learning에만 기반한 접근 방식과는 반대되는 개념이죠.

 

지난 몇 년 동안 Unity, Unreal Engine과 같은 업계 수준의 게임 엔진이 일반 대중에게 공개되었어요. 엔진을 실제로 사용하기 위해 강력한 프로그래밍 기술이 필요했던 이전과는 달리, 이러한 도구의 최신 버전은 초보 사용자에게 세심한 주의를 기울여 개발자가 가장 강력한 기술에 액세스할 수 있도록 사용자 친화적인 인터페이스를 개발하고 있어요. 사실, 이제 게임 엔진 개발자의 관심은 환경 탐색, 애니메이션 로직 등과 같은 기능을 더 쉽게 액세스하고 복잡한 작업 흐름에 쉽게 통합하는 데 있죠.

사진 제공:글렌 카스텐스-피터스 on 언스플래시

업계에서는 인터페이스 품질, 개발 속도, 기술 통합에 집중하고 있는 반면, AI 연구자들은 주로 대화형 프로세스의 기반이 되는 모델에 관심을 두고 있어요. 이러한 부분은 업계에서 상대적으로 덜 다뤄지기 때문에 AI 및 HMI 연구자들의 활동이 업계 활동을 보완하는 역할을 하게 되죠.

이 두 노력을 통합하면 모두에게 이득이 될 가능성이 높아요. 특히, 무료로 사용 가능하고 계속 발전하는 기술을 중심으로 접근 방식을 설계하면, 엔터테인먼트 산업의 디자인 품질 표준을 따라야 하거나 새로운 제어 장치를 통합해야 하는 부담 없이 연구자들이 상호 작용 관리 모델에 집중할 수 있다는 장점이 있죠.

소셜 인터랙티브 에이전트를 사용한 고급 자연 도구 및 애플리케이션을 위한 프레임워크

FANTASIA (Framework for Advanced Natural Tools and Application with Social Interactive Agents)는 자연스러운 상호 작용 및 소셜 프로세스를 기반으로 하는 RTI3D 애플리케이션 개발을 지원하는 데 중점을 둔 Unreal Engine용 플러그인이에요. 자연스러운 상호 작용 연구에 중요한 도구와 게임 엔진을 통합하는 이 프레임워크는 AI 및 HMI 연구 지원과 관련이 깊고, Unreal 내부에서 Neo4j에 대한 액세스를 통합하여 Blueprint 스크립팅 언어를 통해 일관된 개발 경험을 구축하도록 돕죠. 이러한 노력의 핵심은 다음과 같이 요약할 수 있어요.

• 대화형 경험을 개발하기 위한 고급 환경을 제공하는 게임 산업의 니즈를 기반으로 구축되었어요.
• 연구자들이 디자인에 설정된 산업 표준에 얽매이지 않고 AI 모델에 집중할 수 있도록 지원해요.

FANTASIA의 프로토타입 버전은 2019년에 발표되었고, 리엔지니어링 버전은 2021년 NODES 컨퍼런스, 2022년 ACM 멀티미디어 컨퍼런스에서 발표되었어요. 더 자세한 내용은 저장소와 유튜브 채널에서 확인할 수 있어요. 아래 그림은 FANTASIA 아키텍처를 보여줍니다.

판타지아 아키텍처

구체화된 대화 에이전트를 위한 Neo4j

LORIEN을 통해 얻은 결과는 FANTASIA를 통해 Neo4j와 Unreal Engine을 사용하여 ECA를 구현하는 데 활용될 수 있어요. 논증 기능을 갖춘 일반적인 대화 관리 모델로 수렴하려는 시도에는 다양한 AI 도구를 조화롭게 사용하는 것이 포함되죠. 현재 진행 중인 작업은 ANGMAR (Artificial Neural and Graphic Models for Argumentation Research)라는 계산 모델에 LORIEN 연구 결과를 적용하기 위한 방법론적 절차를 공식화하는 것을 목표로 하고 있어요.

ANGMAR에서 Neural Network 접근 방식은 주로 자동 음성 인식, 의도 인식, 개체 인식, 음성 합성 같은 작업을 관리하는 데 사용돼요. 이러한 작업은 인식-행동 주기에서 물리적 수준에 더 가까운 작업들이죠. 반면, 추론과 의사 결정을 담당하는 심층 계층은 Graph Database 및 베이지안 네트워크와 같은 그래픽 모델을 사용하여 구현돼요. 다양한 레벨 간의 연결은 Neo4j에서 이루어지는데, 여기서 발화, 인식된 의도, 엔터티는 그래프 형식으로 표현되고 LORIEN에서 대화를 나타내는 데 사용된 방식과 매우 유사하게 CCG *말뭉치*에 연결돼요.

ANGMAR에서는 Graph Database가 의도/엔티티 인식기와 정렬되어 발언이 표현하는 내용을 직접적으로 보여줄 수 있어요. 의도를 채우기 위해 특정 매개변수 (슬롯)가 필요한 경우, 이러한 매개변수도 Node로 표시되고 발화에서 인식되는 명명된 엔터티에 연결되죠. 추론을 뒷받침하기 위해 의도는 화자가 상대방이 받아들이기를 바라는 *신념*을 암시할 수도 있어요. 다음 그림은 대화 기록을 업데이트하기 위해 ANGMAR에서 수행하는 단계와 그 결과를 요약해서 보여줍니다. *믿음 그래프*를 만드는 과정이죠.

사용자의 발화를 분석하여 믿음 그래프를 생성하였습니다.

 

ANGMAR는 그래프 구조를 통해 대화 역학을 나타내고 분석해서 다음에 말할 내용을 결정할 수 있어요. 이 프로세스는 의사소통 문제부터 의도적인 움직임까지 일어날 수 있는 일을 고려하기 위해 언어학 분야의 의사소통 모델에 기반을 두고 있죠.

각 사용자가 이동한 후 시스템은 그래프 구성, 대화 관리 우선순위, 최종 목표로 의도된 컨텍스트에 따라 수행할 작업을 평가해요. 시스템 이동은 그래프를 변경해서 다음 방향으로 가져가려는 시도라고 할 수 있어요. *원하는* 구성은 *goal* 패턴을 포함하는 그래프 구조를 의미하죠. *바람직한* 그래프는 이러한 패턴을 나타내는 그래프이며 시스템은 이를 수정하려고 하지 않아요. 영화 추천 작업의 경우, 바람직한 패턴은 사용자가 추천 항목을 수락하는 것을 나타낼 수 있겠죠.

일반적으로 대화 관리 절차에 대한 언어적 설명은 통신 프로세스에서 수행될 수 있는 이동에 대한 우선순위 세트를 제공해요. 예를 들어, 의사소통 문제 해결은 공개 질문에 대한 답변보다 우선순위가 높고, 공개 질문에 대한 답변은 의도적인 동작 수행(이 경우 영화 추천 또는 프로파일링 질문)보다 우선순위가 높죠.

비헤이비어 트리를 사용한 작업 우선순위 지정

ANGMAR에서는 대화 전략이 Unreal Engine AI 편집기를 사용하여 Behavior Tree(BT)에 구성되어 이러한 우선순위를 나타내요. FANTASIA를 사용하면 Neo4j에 쿼리를 제출하도록 설계된 node를 BT에 추가해서 Graph Data를 사용하여 결정을 내릴 수 있어요. 대화 관리 중에 발생할 수 있는 여러 가지 의사소통 문제가 있고 발견되는 즉시 해결해야 하죠. 이러한 문제에 대해서는 감지된 문제에 따라 적절한 설명 요청이 생성될 수 있도록 우선순위를 지정하는 추가 계층 구조가 있어요.

언어학적 배경에서 설명한 각 종류의 문제에 대해 특정 그래프 패턴을 검색해서 문제가 있는지 확인할 수 있어요. 이 경우 해당 복구 전략을 채택할 수 있죠. 다음 그림은 음향 문제 감지 및 해결 전용 하위 트리를 보여줘요.

BT는 가장 왼쪽 분기의 작업에 우선 순위를 부여하므로 성공하면 가장 오른쪽 작업은 평가되지 않아요. 이 경우 해결해야 할 가장 중요한 문제는 Acoustic Confidence이에요.

The Neo4jQuery 실행 작업을 통해 BT는 Cypher 쿼리를 실행하고 그 결과를 Neo4j 데이터용 FANTASIA에서 제공하는 전용 데이터 구조에 저장할 수 있어요. 다음 작업은 오류 패턴이 발견되었는지 확인하고 나머지 가능한 모든 동작을 무시하고 적절한 반응을 생성해요.

현재 ANGMAR 구현에서는 모든 문제가 실제로 관리되는 것은 아니지만 이론 표현 관점에서 볼 때 모든 문제는 명확한 위치를 가지므로 연구가 진행됨에 따라 추가 패턴 확인 및 특정 대화 복구 전략을 어디에 배치해야 할지 알 수 있어요. BT가 제공하는 유연성 덕분에 이론적 모델이 발전함에 따라 계산 모델을 반복적으로 업데이트할 수 있죠.

 

특히 흥미로운 의사소통 문제는 시스템의 이전 믿음과 사용자로부터 들어오는 증거 간의 충돌과 관련이 있어요.

언어학 연구에서는 문제를 효율적으로 전달하기 위해 특정 질문 형식을 사용해야 하며 FANTASIA에서 제공하는 Neo4j 트랜잭션 시스템을 통해 사용자가 암시하는 신념이 기존 신념과 충돌하지 않는지 확인할 수 있는 추론 메커니즘의 구현을 허용한다는 점을 강조해요. 특히, 더 높은 우선순위 문제가 감지되지 않으면 시스템은 변경 사항을 적용하지 않고 트랜잭션을 열고 믿음 그래프를 업데이트하여 마지막 사용자 발언이 암시하는 믿음을 일시적으로 받아들일 수 있어요. 그런 다음 임시 그래프에서 상충되는 패턴을 검색할 수 있죠. 여기에는 동일한 주제와 술어에 대한 그래프에서 신념과 부정이 동시에 존재하지 않는지 확인하는 것이 포함돼요. 충돌하는 패턴이 발견되면 해당 설명 요청이 생성되고 트랜잭션이 롤백돼요. 이는 효과적으로 시스템이 무엇을 추론할 수 있도록 하는 메커니즘이에요~일 것이다 사용자가 암시하는 믿음을 받아들이는 경우 발생해요.

이러한 종류의 패턴을 나타내는 PCG를 나타내는 그래프는 다음과 같이 정의돼요.. 다음 그림은 이 상황 관리 전용 하위 트리를 보여줘요.

FANTASIA를 사용하여 설명 요청을 통한 갈등 관리에 대해 자세히 알아볼 수 있어요. 유튜브 인터뷰 우리 연구실의 Maria Di Maro 박사가 제공한 것이에요.

이번 시리즈의 마지막 부분에서는 베이지안 네트워크를 기반으로 한 의사결정에 대해 집중적으로 다룰 거예요., Neo4j에서 하위 그래프 구조를 추출하여 동적으로 조립하죠.

이와 같은 더 멋진 기술 콘텐츠를 원하시나요? 10월 26일, 우리와 함께하세요 NODES 2023 – 개발자와 데이터 과학자를 위한 24시간 무료 온라인 컨퍼런스입니다.

---

• 대화형 AI

---

에이치시스템즈의 LogTree는 Neo4j 기반 GraphRAG 플랫폼으로, 데이터를 자동으로 지식그래프화하고 자연어 질의로 즉시 답을 제공합니다.

👉 에이치시스템즈 홈페이지