Какой имено момент в компе интересует? И что не получается? Что дергается?

Делать покадрово, с большим количеством ключевых точек маски я уже пробовала.
В аниме - скорее через 2-3 кадра, гладкая анимация редко где встречается.
С ключевыми точками главное не переборщить. Слишком много - испортит вид маски, сделав границы неровными.

Работаю обычно в вегасе, может, в какой-нибудь другой программе можно делать динамическую маску качественнее?
В АЕ. Но можно и Вегасе нормально нарисовать, делайте изображение покрупнее и вперёд.
Советую сразу поставить плагин Key Correct - маску он не нарисует, конечно, но поможет качественно наложить её на фон. Он написан для АЕ, но вроде работает и с Премьером.
И в некоторых случаях можно аккуратно почистить фон с помощью кеинга, но вегасовские инструменты кеинга убоги. Очень рекомендую попробовать Keylight (он идёт как встроенный в AE CS5.5, за другие версии не скажу).

Кстати в клипе маски местами очень неаккуратные.

La_nuit, дергаются у меня фигуры персонажей при перемещении, даже небольшом, например, если разговаривают
Nezumi-san, спасибо, попробую АЕ и этот плагин