~ 虛擬偶像的技術實踐 ~

虛擬偶像 Virtual Idol

PLAVE 是一個虛擬偶像男子團體。

所謂的虛擬偶像，是指利用繪畫、動畫、電腦圖學等多種手段進行創作，並在包括網際網路在內的虛擬空間或現實生活中，進行類似偶像（例如偶像歌手或寫真偶像）的活動，同時被視為類似偶像的角色。

PLAVE 便是一個真人使用動作捕捉來操作 3D 人物角色模型的虛擬偶像男子團體，成員皆是有真人在幕後，不是 AI 喔。

動作捕捉/動態捕捉 Motion Capture

動作捕捉是一個在電影和遊戲特效製作中常見的技術，簡單來說，會讓演員穿戴動作捕捉設備，並透過高速攝影機去計算人物動作、定位和肌肉動作。動補可分為三部分：接收器、傳輸和運算。再根據技術原理分為五類：機械式、聲學式、電磁式、慣性傳感器式(Inertial)、光學式(Optical)。

從 VLAST CTO 的描述，他們使用的應該是光學式，動補服裝上有多個標記，可以參考High Power Motion Capture : Vicon @ SIGGRAPH 2023 、 Xsens Tutorial: Network sync with Faceware 和 Next Level MOCAP Tech

角色模型

PLAVE 的角色設計是當前韓國的網路漫畫風格(韓漫風格)，以漫畫走進真實世界的撕漫男為主題打造，團內有各種風格魅力的虛擬角色，並將2D與3D世界融合得恰到好處，使用卡通渲染，此常見於二次元遊戲或動漫的渲染方式。

對 UE 卡通渲染有興趣，可以參考簡易卡通渲染材質球教學

背後技術分享

PLLI：為什麼 PLAVE 可以做的那麼好?( 😳 )

2023 年阿拉伯電視台有採訪 PLAVE 和 VLAST，講述了一些 IP 設計概念和技術方面的回應，有熱心的 PLLI 翻譯了[PLAVE 플레이브]科技和實力的完美結晶PLAVE之你不知道背後｜阿拉伯採訪中字

同年，VLAST CTO 在 Unreal Engine KR 大會上分享關於 PLAVE 所使用的技術，以下為重點摘要：

1. 利用 Unreal Engine 進行電影級別畫面的直播，是一種使用實時連接攝影棚的新型態影像製作方式
2. 透過製作動畫影片，快速累積陰影著色技術和改善製作流程，最終開始著手自有 IP
3. 經過市場調查後，最終以韓國漫畫和 K-pop 及高技術力的定位為主
4. 透過原畫委託，先建立了人物模型，之後透過藝俊找到成員們。
5. 「只要有光學攝影棚，誰都可以進行同等級的直播」但其實除了動補設備外，實際上還需要解決很多問題

1. 動補是很成熟的技術，目前所使用的技術和20年前所指用的技術原理是一樣的
2. 由動補系統去錄製演員的表現動作，將動作數據給3D工程師，動畫師再加工成適合角色的動畫，最終完成影片
3. 演員和角色有一些身材比例的差異，因此需要再加工階段由動畫師修改數據，以符合角色表現
4. 過去都是非實時的方式去製作影片，至少需要耗時數天。
5. 但是要做實時虛擬直播就不可能是讓動畫師在後期再加工，而是需要在當下就進行即時渲染，因此需要實時重新導向技術(retargeting)，可是過去的解決方案都是後期加工去處理，所以直播中實時校正身體比例誤差成為一個技術難點。
6. 兩大問題：無法校正身體干涉、無法校正身體比例差異
7. 穿模脫模問題是因為演員和角色的身體外型有所差異，是慣性傳感器和光學都會存在的問題(=動補無法解決)，
8. 無法校正身體比例差異，特別是在光學動補中，因為光學動補能夠精準地讓角色與物體進行互動，因此比例差異所造成的問題會更明顯。一開始先通過強制變更角色的規模大小去實現，但在多人直播中不適用。
9. 即使身材一樣也會有的身體比例差異問題，因為角色的模型的各部位比例和演員不可能完全一樣，最終會造成畫面上角色和物品互動時產生的空氣距離，這是即使使用上一個方法解無法解決的問題。
10. 在直播時，需要角色正確展現的姿勢和需要正確抓住物品的狀態是隨時在改變，但光學動捕的重新導向只能在 FK(正向運動) 和 IK(反向運動) 中擇一。
11. 動補服裝上的標記位置每天都可能會有一點變化，因為每個人每次穿上動補服裝後進行校準的結果都不一樣，每次標記可能都會有差異，校準動作每次也都會不同，而在直播中也會因為外部影響而造成標記位置的變化，就算重定位也會因為預設姿勢問題而產生脫模，例如肩膀塌下來、手臂扭曲等。

6. 在過去需要透過物理方式和演員的努力來解決：

1. 限制演員身體的動作，使用物理解決方案，例如在演員身上貼上一定體積的物體，從物理層面限制手部不會接觸到骨盆
2. 仰賴演員的意識，如果角色的某個部位比例更大，演員要有意識的不靠近該範圍
3. 尋找相似比例的演員，能夠事先將問題最小化
4. 根據演員去修改角色設計

7. VLAST 的解決方案：開發針對身體比例差異進行定量的實時修正演算法

1. 將光學動補的原始運動數據直接使用，在 UE 內部重新制定自己的重新導向解決方案，將穿模、脫模的頻率降低
2. 利用每一幀的直線追蹤來評估手部和周圍物體碰撞的風險，並計算和使用向量避免碰撞，特別在計算迴避向量時，考慮演員的預期動作，在不扭曲舞線的情況下避免碰撞，讓演員可以自由展現動作。

(影片中還有很詳細的去解釋其他技術解決方案，有興趣可從下方連結前往觀看)

PLLI：VLAST 是如何進行專案製作? ( 😳 )

(以下內容偏軟體專案方面)

專案進行方式

1. 同時進行非直播影片(cinematic)和直播(live)兩個專案工作，未來還有演唱會和手機遊戲等多個目標，但因為共用工作源的關係，開始產生一些問題：
2. 非直播影片(如MV、Shorts等)和直播共用同一專案時產生了工作衝突問題

1. 製作非直播影片時，改動了工作專案的渲染方式如光線追蹤或提高分辨率，結果造成直播時出現效能問題
2. 直播時改動了部分材質的細節，造成製作非直播影片時發生渲染錯誤
3. 雖然可以使用工作指南規範讓工作人員去遵守，但未來還是有可能再發生(人為錯誤)

3. 美術和開發的檔案上傳到同一個儲存空間中，變更集合因為放在一起的關係而造成混亂，例如分支管理困難、核心資產歷史查詢困難、短期性美術資產持續累積造成儲存容量過大且難管理、經營多個 IP 時很難管理共用技術資產。
4. 多個 IP 的共用技術資產為什麼難管理?

1. 當 PLAVE 的技術更新時，也需要將該版本更新移植到另一個 IP 上
2. 但另一個 IP 的技術也可能做更新，也需要將版本同步到 PLAVE 的專案上
3. 技術的版本控制需要跨專案去執行，但是很難依靠工作指南，因為在開發繁忙的時候很容易就會出現版本更新資訊不即時導致版本混亂的問題

5. 技術資產解決方式：將專案中的所有技術調整成模組化

1. 將專案各部分模組化，改成 Plugin 的形式
2. VLAST 專案共用的 VLAST 核心功能 plugin：直播技術和主要材質等核心資產
3. IP 核心 plugin：PLAVE 核心 plugin 如角色模型、服裝、效果
4. VLAST 和 IP 核心工作 plugin：區分非直播影片和直播使用
5. 在一個主資料夾下分別會有多個專案和 plugin，當要在專案中使用 plugin 時，透過文件去聲明要使用的 plugin。根據這樣的分層結構，可以更有效的去管理各專案共用核心功能的版本以及各專案獨立的細節設定。當 VLAST 核心 plugin 更新時，各專案都可以同步更新。
6. 現在可以更方便的進行分支管理和 Code Review 了！而且能夠與美術獨立分開去進行版本管理，不會再出現美術和開發資產混亂的情況。最終，讓整體開發文化和環境可以更穩定的發展。

詳細內容請見언리얼 페스트 2023 서울 | DAY 3 | 버추얼 아이돌 그룹 플레이브의 탄생 과정과 기술 이야기(有CC字幕)，上方摘要用詞可能不精準，有 PLLI 翻譯成英文。非常推薦技術愛好者服用原影片，可以更了解 VLAST 在幕後技術到底下多少功夫去處理檯面上看不到的問題。

VLAST 為 PLAVE 的誕生所做的準備

相對於技術，更偏向 PLAVE 的概念和策略，部分內容和上方影片重複。