안녕하세요, 아바킷 입니다. 아바킷 사용법 5편입니다. 오늘은 아바킷의 핵심적인 기능인 '트래킹' 설정과 관련된 것들을 알려드릴게요.
최신 매뉴얼은 아래 네이버 블로그를 확인해주세요!
[아바킷 사용법 5] 트래킹 설정의 모든 것
안녕하세요, 아바킷의 밍밍 입니다. 아바킷 사용법 5편입니다. 오늘은 아바킷의 핵심적인 기능인 '트...
blog.naver.com
트래킹 메뉴 Step 1
네 번째 메뉴인 트래킹을 클릭 해주세요. 트래킹 메뉴에는 참 많은 것이 들어있죠. 오늘 이 모든 것을 알아봅시다!
트래킹 Step 2
제일 위에 있는 '트래킹' 항목 부터 볼게요. 지금은 활성화가 되어 있죠. 이제 이걸 끄면? 트래킹이 바로 멈춥니다. (단축키는 P 입니다.)
'아바타 위치 고정' 항목은 지난 매뉴얼에서도 설명 드린 부분인데요. 아바타 위치 고정을 누르면 아바타의 발 부분이 화면 중앙에 고정 됩니다.
'VMC 프로토콜' 항목은 자세한 설명이 필요해서 아래에서 설명 해드릴게요!
VMC 프로토콜 Step 3
VMC 프로토콜 옆에 토글을 누르고, VMC 프로토콜을 선택해주세요. 트래킹이 멈추고 루아가 정자세(T포즈)로 돌아오죠?
이제 윈도우 - 설정에 들어갑니다.
그럼 이렇게 현재 컴퓨터가 어떤 인터넷과 연결 되어 있는지 알 수 있습니다. 현재 와이파이를 쓰고 있으니까 왼쪽 메뉴에서 Wi-Fi 를 클릭해볼게요.
와이파이를 클릭하면, 이렇게 사용하고 있는 와이파이 항목이 나오는데요. 한 번 더 클릭을 해주세요.
아래처럼 사용하고 있는 와이파이에 대한 정보를 알 수 있는데요. IPv4 주소를 확인해주세요.
이제 VMC를 지원하는 어플리케이션을 켜주시면 되는데요. 'WAIDAYO' 라는 어플리케이션을 사용해보겠습니다.
어플리케이션을 다운로드 받고 실행하니, 창이 먼저 뜨네요. '로컬 네트워크 키키 검색 및 연결, 카메라' 이 두 가지 모두 허용을 누르고 실행해주세요! 그럼 짜란, 저렇게 트래킹이 활성화 됩니다. 자, 이제 옆에 메뉴 바를 클릭해주세요!
메뉴를 클릭하면 이렇게 설정창이 활성화 되는데요. 두 번째 IP Address 칸과 세 번째 Motion Port 두 가지만 변경 해주시면 됩니다.
먼저 IP Address 옆에 숫자를 클릭하고, 아까 위에서 복사해둔 IPv4 주소를 넣어줍니다. 그리고 Motion Port 옆 숫자를 클릭하고 39539 를 넣어주세요. 39539가 아바킷 고유 Motion Port 번호입니다.
여기서 잠깐! 컴퓨터에서 잡고 있는 와이파이와 핸드폰에서 잡고 있는 와이파이가 동일해야 트래킹이 정상 작동 합니다!
Waidayo에서 윙크를 하니까 아바킷에서도 루아가 윙크를 하네요! 연결 성공!
iFacialMocap Step 4
다음은 iFacialMocap 입니다. v1.0.6 알파 버전 부터 적용 된 기능입니다.
iFacialMocap(퍼펙트 싱크)는 iPhone이나 iPad의 FaceID를 사용한 페이스 트래킹 소프트웨어로 보다 풍부하고 고품질의 페이셜을 얻을 수 있는 프로그램입니다. 다만, 모든 아바타가 퍼펙트 싱크를 지원하는 것은 아닙니다. 퍼펙트 싱크는 iPhone 및 iPad 카메라로 촬영한 얼굴 데이터와 iOS의 ARKit Face Tracking의 블렌드 셰이프 파라미터를 매칭하고 VRM의 Blend Shape Clips 파라미터를 조정하여 사용하기 때문에, 페이셜 기능이 아바타에 미리 적용 되어 있어야 사용 가능합니다.
먼저 트래킹 방식 옆에 토글을 열고 iFacialMocap을 선택해주세요.
이후 본격적으로 페이셜 진행을 시작하기 위해 iPhone에 특정 모바일 애플리케이션인 iFacialMocap을 설치해야 합니다. (아바킷은 'iFacialMocap'을 공식적으로 지원합니다.)
다운로드 후 어플리케이션을 실행하면 몇 가지 액세스 알림이 표시됩니다. 모두 허용하면 쉽게 실행할 수 있습니다. 이후 화면에서 바로 iPhone이 연결된 네트워크의 IP 주소가 아래 이미지와 같이 표시됩니다. VMC 프로토콜의 임베디드 방법과 마찬가지로 iPhone과 PC가 동일한 네트워크에 연결되어 있어야 합니다.
이 IP 주소를 아바킷의 'iFacialMocap' 옵션에 표시된 네모 박스에 적어주세요. IP 주소를 올바르게 적용한 후 iFacialMocap 옆 버튼을 클릭하여 활성화 시켜준 후, '몸 움직임' 옵션을 활성화하면 아바킷의 트래킹과 iFacialMocap을 통합하여 사용할 수 있습니다.
눈 트래킹 Step 5
다음은 눈 트래킹 입니다. 트래킹 여부 부터 선택 할 수 있는데요. 눈 트래킹을 끄면 눈을 깜빡여도 아바타는 눈을 깜빡이지 않아요!
다음은 '시선 트래킹' 항목입니다. 눈동자의 움직임 인식 여부를 선택 할 수 있어요. 아바킷은 눈동자까지 트래킹 하고 있기 때문에 이 기능이 켜져 있으면 사람의 눈동자가 상하좌우로 움직일 때 아바타의 눈동자도 상하좌우로 움직이게 되는데요. 이 기능을 끄면 눈동자 인식이 꺼집니다.
'민감도'는 시선을 얼마나 민감하게 트래킹 할 지 수치를 조절 할 수 있어요. 민감도를 max로 하니 눈동자 움직임이 확실히 더 커졌죠?
마지막으로 '두 눈의 움직임 병합' 항목입니다. 꺼져 있을 때는 윙크를 잘 인식하죠?
이 기능이 켜져 있으면 두 눈이 똑같이 깜빡이게 됩니다. 이 기능이 켜져 있으면 윙크를 해도 윙크 인식이 되지 않겠죠?
이렇게 윙크를 했지만 인식이 안 되네요. 이 기능에서는 두 눈이 열리고 닫혀있는 평균값을 계산해서 눈의 크기를 결정하기 때문에, 한쪽은 제대로 뜨고 있고 한쪽은 완전히 감고 있지만 딱 반 정도로 게슴츠레하게 떠 있게 나오네요.
눈 캘리브레이션 Step 6
이 기능은 사람의 눈과 아바타의 눈을 일치시키는 기능이에요. '실행'을 눌러볼까요?
실행을 누르니 위에 '평균값'과 '개별값'이 보이네요. '평균값'은 두 눈의 측정값을 평균내어 그 평균값을 기준으로 보정하는 방식입니다. '개별값'은 두 눈을 각각 측정하고 각각의 측정값을 기준으로 보정하는 방식이에요. '개별값' 캘리브레이션은 잘 될 경우 정확도가 높아지지만 카메라 성능을 좀 타는 기능이에요.
먼저 '평균값'으로 진행해볼까요? 그 결과는 '고급 설정'에서 볼 수 있어요.
'고급 설정'에 들어가는 왼쪽과 오른쪽 모두 같은 값으로 인식 되었네요. '평균값'으로 진행 했기 때문이에요.
이번에는 '개별값'으로 진행해볼까요? 역시나 '고급 설정'에 들어가서 결과값을 확인하니, 왼쪽과 오른쪽 수치가 약간 다른 것을 확인 할 수 있네요.
'개별값'을 이해하려면 '고급 설정'에 있는 저 수치들을 이해해야 하는데요. 먼저 양쪽에 있는 값들은 눈을 감았을 때와 눈을 떴을 때의 윗 눈꺼풀의 높이를 나타냅니다. 아바타의 경우 완전히 감았을 때가 0, 완전히 떴을 때가 100인데요.
사람은 아바타와 조금 다릅니다.
눈이 작아 조금만 눈꺼풀을 내려도 감긴다면, 상대적으로 제 눈이 감겨있는 위치가 30 정도가 되겠죠. 그럼 아바타는 30만큼 덜 감았다고 인식합니다. 결국 사람이 눈을 감아도, 아바타는 눈을 게슴츠레하게 뜨고 있는 상태가 되겠죠?
눈을 뜨고 있는 경우도 마찬가지에요. 눈이 작아 조금만 눈꺼풀을 올려도 떠진다면, 상대적으로 제 눈이 감겨 있는 위치가 70 정도가 되겠죠. 그럼 아바타는 30만큼 덜 떴다고 인식합니다. 결국 눈을 감고 눈을 떠도 완전히 감거나 뜨지 못하고 항상 게슴츠레한 상태가 될거에요.
이 때 눈 캘리브레이션을 이용해서 30 이하일 때 눈을 감고 70 이상일 때 눈을 떠! 라고 지정해줄 수 있는 기능입니다! 신기하죠?
입 트래킹 Step 7
입 트래킹은 입 인식 여부를 결정하는 기능이에요. 지금은 입이 움직임에 따라 벌려지기도 하고 다물어지기도 하죠? 이 기능을 끄게 되면 입을 벌려도 루아의 입은 벌어지지 않아요!
다시 입 트래킹을 키니까 잘 인식이 되네요!
자 그럼 '고급 트래킹'은 뭘까요? 아바타의 모델(VRM)에 따라 입 트래킹이 안 되는 모델도 있어요. 이 때 '고급 트래킹'을 켜면 입 트래킹이 가능해져요!
'트래킹 소스'는 입 트래킹을 할 소스를 결정하는 부분이에요. 방금까지 제 입 모양이 바뀌었을 때 루아의 입 모양이 변한 것은 카메라를 기반으로 했기 때문이죠. 오디오를 선택하면, '립싱크' 처럼 마이크로 들어오는 소리를 이용해서 입 트래킹을 하게 됩니다. 신기하죠?ㅎㅎㅎ
팔 트래킹 Step 8
여기까지 왔으면 다들 이제 아실거에요! 팔 트래킹은 바로 바로 팔 인식 여부를 결정 할 수 있는 기능이에요. 켜져 있으면 팔을 트래킹 하는 것이고, 꺼져 있으면 팔 트래킹이 꺼집니다. 아주 간단하죠?
깊이 캘리브레이션 Step 9
이제 '모션' 항목으로 넘어가볼게요. '깊이 캘리브레이션'은 아바킷을 실행 할 때 떴던 노란색 박스에 있던 '깊이 캘리브레이션'과 같은 항목이에요. 실행을 누르면 '깊이 캘리브레이션'을 다시 진행 할 수 있습니다.
보정 Step 10
마지막으로 '보정' 항목입니다. 아바타 모션에 직접적으로 영향을 미치는 요소에요. 얼마나 예민하게 트래킹 할 지, 모션에 보정을 많이 걸 지 여부를 정할 수 있어요!
먼저 기본 세팅은 '보통'으로 되어 있어요. '빠르게'를 선택하면 보다 빠른 모션도 트래킹이 가능해져요. '매끄럽게'를 선택하면 조금 더 부드러워지죠. 약간 반 박자 정도 느리게 반응 하는 것 같아요.
'고급 설정'도 할 수 있는데요. 회전, 움직임 보정, 움직임 범위까지 더 세부적으로 조절할 수 있어요. '회전' 수치를 내리니까 손목을 돌리는 모션을 더 빠르게 캐치하네요. 수치를 높이니까 손이 느리게 올라오네요. 고개를 회전 시키거나, 손을 회전 시키거나, 팔을 회전시키거나 관절과 관련된 '회전' 수치에서 적용이 되는 기능이에요.
이번에는 '움직임 보정'을 볼까요? 움직이는 속도와 관련 된 것이라고 보시면 쉬워요. 수치를 높이니까 움직이는 속도가 현저히 느려져요. 수치를 낮추면 속도가 확 빨라집니다. 대신 움직임이 튈 확률도 조금 높아져요. 왠지 저는 속도가 너무 빨라도 조금 어색한 감이 있네요. 적당히 조절해서 사용하는 편이 자연스러울 것 같아요!
'움직임 범위'를 통해서는 여러분의 움직임을 얼마나 아바타로 표현 할 지 정할 수 있어요. 범위를 높이니까 움직임 정도를 모두 반영하네요. 아래 영상에서 보여주듯, 몸이 양쪽으로 넘어가는 것을 그대로 받아들입니다. 반대로 범위를 낮추니 움직임이 많이 제한 되네요. 상황에 따라 적당하게 조절해주면 좋을 것 같습니다.
오늘은 트래킹 설정에 대해 알려드렸는데요. 생각 보다 많은 내용을 담고 있었지만, 하나 하나 차근히 하시다면 쉽게 아바킷 트래킹을 정복 하실 수 있으실겁니다!
사용하시다가 궁금한 점이 있으시다면, 언제든 블로그 댓글 혹은 아바킷 공식 디스코드 채널에서 물어봐 주세요!
'아바킷 매뉴얼' 카테고리의 다른 글
| [아바킷 사용법 7] 아바킷 설정 (0) | 2023.06.07 |
|---|---|
| [아바킷 사용법 6] 스트리밍, 아바킷으로 방송하기 (0) | 2023.06.07 |
| [아바킷 사용법 4] 스티커, 파티클, 필터 설정 (0) | 2023.05.23 |
| [아바킷 사용법 3] 조명 및 배경 설정 (0) | 2023.05.23 |
| [아바킷 사용법 2] 바로가기 메뉴, 기본 메뉴, 아바타 업로드, 쉐이프 키 설정 (0) | 2023.05.23 |
댓글