Den47

Да, прога на редкость дерьмовая. Не желает ничего конвертировать. Я так понял тебе нужно сконвертировать в AVI 320x240, с каким кодеком и каким звуком неизвестно.
Есть много других более грамотных конвертеров. Мне, например, нравится avidemux.

Открываешь в ней файл, выбираешь кодек xvid например, настройка - 2pass video size выбираешь какой хочешь получить размер файла или 1pass bitrate где-то от 1000 до 2000kbps.
фильтры-resize-320x240
звук например mp3