Хоть и не отношу себя к "знающим людям", но где взять, могу подсказать
http://x264.nl.
А вот настроики... надо просеить тут несколько десятков страничек, чтобы выудить их, да и то далеко неполностью. Будем ждать, может кто и нйдет время описать настройки этого кодека хотя бы в той же мере, как, скажем, описаны настойки других кодеков на
http://www.dvdtocd.narod.ru ...
Формат выходного видео - mp4, аудио советуют использовать AAC, либо, если не жалко места, ac3.