хехе, х264 соглашусь очень трудно настраивать. Но я использую след настройки - 2 прохода Cabac, Deblock -1, Bframes 2 (Temp), Weight, ref15, keyboost 50% , Breduc 40%, VBR 75%, 5 max Quality. Квадратов нет и качество не намного но всё таки лучше чем VP7. В новой версии вообще отличный деблокинг
http://www.aziendeassociate.com/X264VFW_rev177_p3.exe
тест SSIM (660 kbit/s) это самый правдоподобный тест хотя не идеальный. Но если разница большая между чилсами (как между VP6 и VP7) то уж точно не ошибается.
Оригинал - 100
VP6 - 74.17
VP7(официальная бета2 ) - 77.69 (уже есть бета4)
x264 rev177 - 77.86
Хвид 1.1 (14 марта) - 73.78
Н.264 Неро - 78.11
Если же разница меньше чем 0.15, то визуально разницу не видно