I'm one week gone and Tencent drops probably one of the most excited updates to AI video generation since ControlNet! ToonCrafter is nuts 🤯 If you haven't heard, it lets you control the interpolation process by providing sparse keyframes. 10 wild examples:

#ToonCrafter

#ToonCrafter 初めと最後の２枚の写真を使うと短い動画が作れるのすごい！

5秒ほどのアニメで忍者の少年が膝をつくカットインアニメを作りたかったのでToonCrafterでポーズ人形のアニメーションを生成させてみた。 途中泥人形みたいになっているけど、これをガイドに手書き補完していけばいいのかな？

ToonCrafterで差分アニメの練習 左上がNijiで出した絵で、右上がSDで作った差分 Dream Machineだと余計な動きをしたりLive2Dに近い動きになるけど、こっちはスカートの動き、足の移動、腕の開き方等、意図に近い形で滑らかに補完してくれる ガチャもタダなので、ToonCrafterかなりオススメです #aiart

OK, Framer works and is AMAZING. You can see this character do this graceful little turn. Sadly, Framer only does 512x320, once again, like ToonCrafter, fuckin' smol pic. Can barely contain Brie's thiccness. Vid is squished because sources are square resized to rect.

#topsino @elonmusk #ComfyUI #DynamiCrafterWrapper #tooncrafter Panda panda 🥰🐼 Doll Model: Topsino 164T Miyou(RRS+) #waifu #sinodoll #lovedoll #Robot

ToonCrafterのSketch Guidance機能がなかなか公開されないため、論文を参考に再現実装を行いました！ なぜかモデルの重みだけは公開されていたので、制御に使っているモデルはToonCrafter公式のものとなります 以下のGithubリポジトリから利用できます！ https://t.co/qkRFhYqEix

ポーズだけ固定して２枚の画像を生成→ToonCrafterで補間してゆらゆらモーションが作れます #aiart #博麗霊夢

Controllable AI Filmmaking is here! 🤯 Here's how you can combine my free Controllable Character Workflow with Tooncrafter to create your own AI ANIME! 👇

ToonCrafterで補間アニメです 背景も動かしてます

ToonCrafterを使った実写からアニメ変換のテスト 動画から5枚キーフレームを作って補間してます 背景が思ったより綺麗に繋がった #AIart

抹茶もなかさんが実装されたToonCrafter向けSketchGuidanceで、一度普通に生成した動画の修復ガチャが出来るか試してます 元はかなり顔が溶けてるんですが、そこそこ直せます それにしても着色の精度が凄い #AIart

kijai ComfyUI node for ToonCrafter: Can batch images to make long sequences, and has heavy memory optimizations (can even under 8GB VRAM!) Incredible that ToonCrafter was released.. 2 days ago? and already massive improvements being done because it's open source!

ToonCrafterでダンスの練習中 顔の破綻を軽減する方法を模索中です 今回は、最初に生成した動画を拡大してもう一度ToonCrafterに通してます

First result from ToonCrafter on @huggingface:

#topsino @elonmusk #ComfyUI #DynamiCrafterWrapper #tooncrafter Fast forward to AI Cyberworld 😍😍 Doll Model: Topsino 170T Mitao #waifu #sinodoll #lovedoll #Robot

SwinIRで4x超解像したらかなり綺麗になった 一貫性も全く問題なさそう 今後はToonCrafterでは必須だ

2枚のアニメ調静止画を入力すると、その間を補完して動画にしてくれるi2v（image to video）技術らしい。i2v系はほんとピンキリなので触ってみないとなんとも言えないけど、サンプル動画は自然に見える ToonCrafter https://t.co/x0nAHk2D05