Еще бы не было квадратов. С настройками наизвращался конкретно.
Sharpness 3 - ты заставляешь кодек передавать несуществующюю четкость посредством небольшого битрейта. Кодек "заплетается".
Variablity, Min, Max оставь по умолчанию - по умолчанию они работают очень хорошо (в 95% случаев их вообще не нужно трогать).
Max between frames тоже в покое оставь. Кодек далеко не тупой - он сам решим как лучше...
С квантайзерами тоже поиграй...
