Насколько мне известно, VirtualDub не работает с неквадратными пикселями (
DAR = 2), хотя я не знаю эту программу досконально, может быть, где-то есть соответствующая настройка.
Сейчас ситуация выглядит вот так:
Попробуйте автоперекодировщики, типа Xvid4PSP или Freemake video converter, они должны нормально обрабатывать такие файлы.
Во всяком случае, монтажки типа Pinnacle Studio отлично понимают, что такое неквадратный пиксель, и корректно работают с такими форматами.