Open-Vtube

Feasibility study for achieving Live2D-like result with only open source resources.
僅使用開源資源製作出類似Live2D效果的可行性研究。

1. Model building 建模
   Blender: Blender可以用Shape key改變Mesh的形狀，理論上可以做到跟Live2D一樣的效果，甚至可以做到Live2D做不到的立體效果。

2. Rendering 模型渲染
   Blender: 直接在Blender的viewport上render，如果只用圖片的話可以直接viewport shading，如果需要更加複雜的shader的話可以使用Eevee renderer。把viewport的背景換成綠色就可以色鍵去背。

   Blender的物理系統使用timeline，無法在viewport中無限播放，但可以用python script每frame更新物件，不使用原本的物理系統，繞過這個問題。

3. Streaming 直播
   OBS: 長久以來直播主使用的OBS就是開源軟件，不需要尋找替代品。

4. Face mesh 面容辨識
   Mediapipe: Mediapipe是Google的開源人工智能工具，可以用作面容定位。其他現存的Blender面容定位方案例如OpenPose，Ai Face都不是開源方案。

5. Hand detection 手勢辨識
   Mediapipe: Mediapipe亦可以用作手勢辨識。

6. Emotion recognition 表情辨識
   Emotion-detection: 這個看來可以用。