마하바라타 2.0: 두루마리에서 음파로 (4부)

다중 LLM 지원, 힌디어 오디오, 더 빠른 호스팅으로 마하바라타 챗봇 수준 향상

이 시리즈의 이전 세 부분에서, 우리는 Neo4j를 사용해서 고대 지식을 구조화하는 것부터 GraphRAG로 고대 서사시의 세계와 현대적인 GenAI 도구를 결합하는 과정을 살펴봤어요. 제 마지막 포스팅에서는 GraphRAG와 Knowledge Graph를 활용해 마하바라타 캐릭터와 이벤트를 다뤘었죠.

이제 다음 단계로 나아갈 시간이에요! 마하바라타 2.0! 에 오신 것을 환영합니다! 이번 업데이트에서는 다중 모델 인텔리전스, Cloud Run을 통한 더 빠른 성능, 그리고 응답에 대한 힌디어 오디오 지원을 통해 챗봇의 성능을 확장했어요.

새로운 기능에 대해 자세히 알아볼까요!

🧠 AI 현자를 선택하세요: GPT-4o, Gemini, Claude — 가장 좋아하는 리시는 누구인가요?

왜 여러 LLM이 필요할까요?

마하바라타에는 많은 현자와 학자들이 등장해서 Vyasa의 원래 설명부터 Adi Shankaracharya와 같은 사상가, C. Rajagopalachari와 같은 현대 작가의 후기 주석에 이르기까지 달마와 운명에 대한 자신만의 해석을 제시했죠. 왜 우리 챗봇은 달라야 할까요? 최신 업데이트를 사용하면 다양한 LLM(GPT-4o, Gemini 2.5 Flash/Pro, Claude 3.7 Sonnet)이 동일한 쿼리에 어떻게 응답하는지 테스트할 수 있어요.

각 모델에는 다음과 같은 장점이 있답니다:

• GPT-4o: 창의적이면서도 상황에 맞는, 감정적인 반응에 강점을 가지고 있어요.
• Gemini 2.5 플래시 및 프로: 더 깊은 추론을 제공하죠.
• Claude 3.7: 더 긴 문맥 인식을 제공해요.

구현 세부정보

드롭다운 메뉴를 사용하면 즉시 모델 간에 전환할 수 있어요. 백엔드에서는 선택한 API 엔드포인트로 프롬프트를 동적으로 라우팅하고 각 공급자의 형식을 처리하도록 구현했어요.

프롬프트:"쿠룩셰트라 전쟁에서 크리슈나의 역할은 무엇이었나요? 그는 싸웠나요?"

• GPT-4o: 크리슈나를 비전투 서약을 지킨 신성한 전략가이자 도덕적 안내자로 묘사하네요.

• Gemini 2.5 Flash Preview: 크리슈나의 서약과 자문 역할을 강조하는 명확하고 사실에 근거한 설명을 제공합니다.

• Gemini 2.5 Pro Preview: 텍스트 인용 및 도덕적 결과에 중점을 두고 있네요.

• Claude 3.7 소네트: 직접적인 텍스트 참조를 사용해서 크리슈나의 중립성과 전략적 존재를 강조하고 있어요.

테이크아웃

이제 여러분은 단순히 질문만 하는 것이 아니라 여러 현자들과 상담하는 것과 같아요. 그리고 서사시와 마찬가지로 질문하는 사람에 따라 답변이 달라진다는 점이 정말 흥미롭죠?

🚀 포옹에서 클라우드 런까지: 퍼포먼스의 새로운 시대

Cloud Run으로 전환하는 이유는 무엇일까요?

처음에 Hugging Face Spaces에서 호스팅된 챗봇은 콜드 스타트 문제와 느린 로딩 시간에 직면했었어요. 사용량이 증가함에 따라 보다 프로덕션 수준의 호스팅 설정이 필요하다는 것이 분명해졌죠.

Cloud Run의 이점:

• 더 빠른 콜드 스타트
• 트래픽에 따른 자동 확장
• 더 쉬워진 API 키 관리
• Google Cloud 서비스와 통합

배포 방법(미니 가이드)

# 1. Create the Repository and Build the Container Image
export AR_REPO='mb-aisage'  # Updated repo name
export SERVICE_NAME='mb-aisage'  # Updated service name

gcloud artifacts repositories create "$AR_REPO" \
  --location="$GCP_REGION" \
  --repository-format=Docker

gcloud auth configure-docker "$GCP_REGION-docker.pkg.dev"

gcloud builds submit \
  --tag "$GCP_REGION-docker.pkg.dev/$GCP_PROJECT/$AR_REPO/$SERVICE_NAME"

# 2. Deploy to Cloud Run
gcloud run deploy "$SERVICE_NAME" \
  --port=8080 \
  --image="$GCP_REGION-docker.pkg.dev/$GCP_PROJECT/$AR_REPO/$SERVICE_NAME" \
  --allow-unauthenticated \
  --region=$GCP_REGION \
  --platform=managed \
  --project=$GCP_PROJECT \
  --env-vars-file=.env.yaml

환경 구성

Cloud Run의 환경 변수는 다음 서비스의 API 키를 안전하게 관리하는 데 사용돼요.

• OpenAI(API 키 필요)
• Claude (Anthropic)(API 키 필요)
• ElevenLabs(API 키 필요)

✅ 메모: Google Cloud의 Gemini and Translation API는 동일한 Google Cloud 프로젝트 내에서 사용되는 경우 API 키가 필요하지 않아요. 하지만 배포하기 전에 해당 서비스를 명시적으로 활성화해야 해요.

gcloud services enable \
  cloudresourcemanager.googleapis.com \
  servicenetworking.googleapis.com \
  run.googleapis.com \
  cloudbuild.googleapis.com \
  cloudfunctions.googleapis.com \
  aiplatform.googleapis.com \
  translate.googleapis.com

이러한 명령을 사용하면 배포, 추론 및 변환 기능을 원활하게 지원하는 데 필요한 서비스가 활성화되는 거죠.

🎧 Vyasa가 힌디어로 말할 때: TTS와 번역의 만남

힌디어로 듣기 위해 클릭하면 어떻게 되나요?

이 기능은 챗봇의 영어 응답을 힌디어로 번역해서 소리내어 재생해줘요. 이걸 뒷받침하는 기술 스택은 다음과 같아요:

1. Google Cloud Translation API가 영어 텍스트를 힌디어로 변환해요.
2. ElevenLabs Text-to-Speech API가 힌디어로 자연스러운 오디오를 생성하죠.
3. 오디오는 브라우저에 직접 내장되어 재생돼요.

왜 힌디어가 먼저인가?

힌디어는 세계에서 가장 많이 사용되는 언어 중 하나이고 마하바라타의 뿌리와 밀접하게 연관되어 있어요. 챗봇을 더욱 포괄적으로 만드는 건 언어에서부터 시작하는 거죠.

영어:"쿠룩세트라 전쟁 중 크리슈나의 역할은 주로 아르주나를 위한 전차병이었습니다. 그는 직접 전투에 참여하지는 않았습니다. 전쟁 전에 크리슈나는 어느 쪽도 무기를 들지 않겠다고 결심했습니다. 대신 그는 판다바들, 특히 아르주나에게 전략적인 조언과 도덕적 지원을 제공하여 분쟁 내내 그들을 이끌었습니다. 그의 존재는 중요했지만 그는 비전투원으로 남아 있었습니다."

힌디어 오디오: “कुरुक्षेत्र युद्ध के दौरान कृष्ण की भूमिका मुख्य रूप से अर्जुन के सारथी के रूप में थी। उन्होंने युद्ध में स्वयं भाग नहीं लिया। युद्ध से पहले, कृष्ण ने किसी भी पक्ष के लिए हथियार न उठाने का संकल्प लिया। इसके बजाय, उन्होंने पांडवों, विशेष रूप से अर्जुन को रणनीतिक सलाह और नैतिक समर्थन प्रदान किया, पूरे संघर्ष में उनका मार्गदर्शन किया। उनकी उपस्थिति महत्वपूर्ण थी, लेकिन वे एक गैर-लड़ाकू बने रहे।”

🎧 이 응답을 힌디어로 들어보세요.

직면한 과제:

• 정확한 문화 번역 보장
• 더욱 자연스럽게 들리도록 TTS 음성 조정
• 번역 시 맥락 유지

🔮 채팅을 넘어서: 음성 우선, 다국어 마하바라타를 향하여

말 그대로 대화형 AI

저는 이제 챗봇과 대화하고 오디오로 응답을 받을 수 있는 음성 우선 방식을 찾고 있어요. 다음과 같은 도구 Whisper(음성을 텍스트로 변환하는 경우) 및 ElevenLabs(음성 합성의 경우) 덕분에 이게 가능해질 수도 있겠어요.

인도어 확장

로드맵에는 다음 지원이 포함될 예정이에요.

이러한 언어는 지역적 포괄성을 가져오고 원어민과의 참여를 높일 거예요.

최종 목표: 나만의 AI 현자 구축

LLM을 선택하는 것 외에도 페르소나를 선택한다고 상상해 보세요.

• 채팅 철학적 취지를 위해
• Ask 전사의 관점에서
• 토론하다 드라우파디 정의에

여기에 다국어 오디오를 추가하면 저는 단순히 챗봇을 만드는 게 아니에요. 저는 멋진 디지털 현자를 만들고 있는 거죠!

🔊 마무리

다음번에는 질문이 궁금하고 현명하게 답변하시기 바랍니다.

엄청난 감사 토르스텐 셰프(일명 Thor) ElevenLabs API 크레딧으로 아낌없이 도와주셔서 — 그의 지원 없이는 힌디어 오디오 기능을 테스트할 수 없었을 거예요. 감사합니다 마이클 헝거 이 프로젝트 전반에 걸쳐 끊임없는 동기 부여의 원천이 되어주시고 놀라운 일 뒤에 숨은 빛나는 마음을 주셔서 감사합니다. Neo4j LLM 그래프 빌더 도구. 🙏

마하바라타 2.0 살펴보기: .

---

• 그래프RAG
• 마하바라타

---

에이치시스템즈의 LogTree는 Neo4j 기반 GraphRAG 플랫폼으로, 데이터를 자동으로 지식그래프화하고 자연어 질의로 즉시 답을 제공합니다.

👉 에이치시스템즈 홈페이지