вопервых на счет неро, скорее всего у тебя нет ключа который разрешает кодирование (на этом форуме я его выладывал недавно, если ненайдёшь напиши в личку)
во вторых про x264, это тоже отличный кодек из тогоже семейства что и неро (H.264) он пока в стадии альфа версии но тем неменее показывает отличные результаты.
в x264 мне нравится однопроходное кодирование с заданным квантизером, так как размер меня несильно волнует, а качество отличное выходит, быстрее по времени, и в любое время процесс можно прервать, а потом опять продолжить.
попался мне гарри поттер (все 3 части лицензионка, решил его зажать) используя следующие настройки:
Single Pass - Quantizer - 22
Deblocking filter -6; -6 (не многовато ли?, но помоему отличная четкая картинка, особенно после VP6)
Max referens frames 7
Max B-frames 2
Subpixel refinement precision 4
остальное по умолчанию, есть у когонибудь другие предложения на этот счет?
замюксил в один файл видео + две шестиканальных звуковых дорожки+субтитры VobSub рус. и анг., и главы засунул в итоге 1,13GB и в любом плеере всё отлично работает и главное субтитры везде работают (а я раньше конвертировал в srt или ssa, только время тратил).
последюю версию x264, FFdshow и кой чего другого можно взять тута
http://celticdruid.no-ip.com/xvid/