AI VTuber

최근에 지인과 얘기를 하다가 AI 캐릭터챗에서 더욱 나아가 AI 버튜버같은걸 만들어보면 어떠냐는 얘기가 오고갔는데 반쯤 흥미로 프로토타입을 만들어보았는데 생각보다 꽤 괜찮고 재밌는 개발이었습니다.

이전에 Inworld를 레퍼런스로 게임내에 AI NPC를 개발해본 경험도 있다보니 좀 더 구체적으로 어떤식으로 구현해야할지 감을 잡는것 자체가 어렵지 않았습니다.

현재 깃허브에 작업한 간단한 프로토타입은 단순히 기능테스트를 위한 LLM response를 기반으로 음성을 생성하고, 해당 음성을 기반으로 Live2D Lip-Sync와 같은 기능이 잘 동작하는지 테스트용으로만 작업했습니다.

기존에 상호간의 대화에 해당하는 인지와 사고 영역에 대해서는 많이 리서치해본 경험이 있으니 당분간은 행동부분을 최대한 연구해볼까합니다. 3D 모델링을 사용하는 방법도 있겠지만 Live2D를 이용하여 최대한 사람같이 보이는 자연스러운 움직임에 대한것을 위주로 작업해볼 예정입니다.

ChatdollKit이라는 재밌는 프로젝트도 찾았습니다. 행동영역에 대해서는 애니메이션을 미리 정의해두고 감정을 표현할때 애니메이션 리스트중에서 가져오는 방식인데 response에 [anim:AnimationName] 형식으로 주어지면 애니메이션을 재생하는 방식입니다. 실제로 음성생성에서도 해당 기법을 사용하기도 합니다. 저 또한 마찬가지로 동일한 방식을 가져가되 Tailwind에서 영감을 얻은 방식을 한번 응용해서 애니메이션의 조합을 이용해서 구현해볼까 합니다.

좀 더 디테일하게 작업하는 내용은 오픈소스로 작업하지는 못하는 아쉬움이 있지만 종종 개발 내용이나 어떤식의 아키텍처 설계를 했는지 공유하도록 하겠습니다.