안녕하세요 여러분, 아바킷 입니다!
오늘은 버튜버 여러분들의 방송을 더욱 생동감 있고 재미있게 만들어 줄 프로그램들의 조합을 소개하려고 합니다. iFacialMocap, VRM Posing Desktop 그리고 아바킷이 여러분의 방송을 어떻게 변화시킬 수 있을지 한 번 알아볼까요? (오늘도 렛츠 고!🚀)
iFacialMocap
iFacialMocap은 iPhone의 FaceID를 활용해 얼굴 움직임을 캡처하는 애플리케이션입니다. 캡처 된 모션은 실시간으로 Maya, Unity, Blender, 3dsMax, PC의 Unreal Engine과 같은 3DCG 소프트웨어로 전송하여 활용할 수 있습니다. (iFacialMocap 홈페이지 내 소개 글 참조)
iFacialMocap을 아바타에 활용할 때에는 아이폰의 FaceID 센서를 활용하여 사용자의 얼굴 움직임 데이터를 받아온 후, vrm 아바타의 52개 Blend Shape를 인식하여 매칭 시킵니다. 실시간으로 빠른 표정 인식과 변환이 가능하며, 아바타의 눈, 눈썹, 입, 볼 등의 세세한 움직임까지 표현됩니다.
VRM Posing Desktop
VRM Posing Desktop은 VRM 아바타를 활용해서 다양한 동작을 생성할 수 있는 프로그램입니다. 다양한 프리셋 동작들을 통해 처음 사용해 보는 사용자들도 간편하게 동작을 적용할 수 있고, 직접 동작을 설계하여 무한한 커스터마이징도 가능합니다. 스팀 workshop을 통해 다른 유저들이 만들어둔 동작을 사용하기도 편리하고, 직접 만든 동작을 다른 유저들과 공유하기도 편리한 프로그램입니다.
AvaKit (아바킷)
이런 AvaKit과 위의 프로그램들을 함께 쓴다면? 방송의 표현력과 다양성이 크게 향상됩니다. 일상적인 표정에서부터 특별한 동작까지, 아바타가 감정과 움직임을 표현할 수 있게 됩니다. 시청자들에게 더욱 생동감 있는 방송을 제공하게 되어, 방송의 품질과 재미를 높일 수 있겠죠?
iFacialMocap + AvaKit 연결 방법
iFacialMocap을 통해 캡처 된 표정 데이터를 AvaKit으로 전송하여, vrm 아바타에 적용해 보세요. 이 조합으로 아바타의 표정이 더욱 다양하고 정교해지며, 방송 중에도 실시간으로 표정 반응을 할 수 있게 됩니다. 상반신 트래킹은 AvaKit을 통해 가능하기 때문에, iFacialMocap을 통한 다이내믹한 표정과 함께 몸의 움직임까지 표현할 수 있습니다.
1) ifacialmocap에서 아이폰의 IP 주소를 확인합니다.
2) AvaKit을 실행한 후 트래킹 메뉴를 선택해 주세요.
3) 'iFacialMocap' 아래의 IP 칸에 아이폰에서 확인한 IP 주소를 입력하여 연결합니다. (단, iFacialMocap을 사용하는 아이폰과 AvaKit을 실행하는 PC/노트북이 동일한 wi-fi를 사용하고 있어야 합니다.)
4) 테스트를 통해 실시간 표정 인식이 잘 이루어지는지 확인합니다.
5) 이때, 몸의 움직임을 유효화하면 웹캠을 통한 상반신 트래킹이 가능해집니다.
VRM Posing Desktop + AvaKit 연결 방법
VRM Posing Desktop으로 생성된 동작 데이터를 Avakit으로 가져와 사용하세요. 이를 통해 방송 중 아바타가 다양한 동작과 표현을 할 수 있게 됩니다.
1) VRM Posing Desktop에서 원하는 동작을 선택합니다.
2) VMC Protocol 버튼을 클릭한 후, IP 주소와 Port Number ‘39539’를 입력하고 전송할 데이터를 선택한 후 ‘Send’를 눌러주세요.
4) 'VMC protocol' 옵션을 유효화하면, 두 프로그램 간의 연동이 시작됩니다. 동작이 잘 연동 되는지 확인해 주세요.
특히 VRM Posing Desktop과 AvaKit의 조합은 앞으로도 계속해서 업데이트될 예정입니다.
AvaKit 내에서 VRM Posing Desktop의 동작과 AvaKit의 웹캠 트래킹을 혼합해서 사용할 수 있는 방법으로 업데이트가 진행될 예정이며, 지속적으로 사용성을 높여가는 업데이트를 진행할 예정입니다.
주의사항 : VRM Posing Desktop의 업데이트로 인해 v4.0.8 버전부터는 vrm 1.0을 지원하고 있습니다. AvaKit은 현재 vrm 0.x를 지원하고 있으며, 이로 인해 v4.0.8 버전부터는 ‘표정’을 받아오는 것이 불안정할 수 있습니다. v4.0.8 이전 버전의 사용을 권장합니다.
버튜버 여러분들 모두가 즐거운 방송 활동을 할 수 있길 기대하며, 새로운 포스트로 돌아올게요!
댓글