Mark的地球漫步

為了AI舞蹈挑戰而做的，工作時間只有不到10天，我們還要上班欸!  實在太趕了。 雖然看起來像是一個搞笑梗，但這不是一鍵可以完成的，這舞蹈動作很快，尤其手部在影片中都是動態模糊，我為了要捕捉各部份動作還得分鏡；還首度用上了 Meta 的SAM實驗技術。 二號選手的舞蹈挑戰 透過這次試驗跟實作，我發現了Kling的Motion Control跟Runway的Act-2的差別  Act-2就是定義上的Video to Video，引導的影片跟模仿的圖像在構圖跟動作上完全一致，但有更多限制 (得準備一張構圖完全相同的起始幀，此外臉孔占比不能太小) 而Kling的這個功能是「讀懂了這個動作」，然後應用在圖像上，圖像的構圖跟引導影片不需要一致，只要都能判別就好，圖像上沒有的部份(例如這個例子中的下半身穿著或是背景)，Kling會自動填補，可以說更加智能些。不過我相信目前還只是開端，特徵的維持和動作的細節(例如手指)還不夠清晰，但第二步已經跨出去，相信之後會進展的很快。