[DJ Mogarych]

Не совсем ясно, какой файл Вы имеете в виду — захваченный с камеры или уже перекодированный.
В случае, если дёргаться начинает уже после захвата, то проблема в быстродействии компьютера, который "не успевает переварить" идущий на него видеопоток. В первую очередь это касается быстродействия жёсткого диска. Опишите весь процесс, начиная с захвата с камеры. Чем Вы это делаете, и во что кодируете результат. Что за камера, и как она подключена (если по USB, то какой версии)?
Если Вы уверены, что быстродействие компьютера достаточное, можно посмотреть фоновые процессы. Такие вещи, как антивирусные мониторы или утилиты мониторинга системы, во время захвата нужно отключить.
Кстати, стационарные плееры могут тормозить, если на них проигрывается mpeg-4 с высоким битрейтом, или mpeg-4, закодированный нестандартным кодеком.