[DJ Mogarych]

90 минут любительского видео (с тряской рук, с шумами матрицы) - это немало, так что неудивительно, что качество теряется. Можно попробовать сначала обработать видео разными фильтрами в VirtualDub, в частности, Dynamic noise rediction (DNR) и Deshaker (для стабилизации тряски), и потом кодировать. Но это тоже не панацея, бывали случаи, что видео после обработки сжималось даже хуже, чем до неё.
Можете сжать звук сильнее, оставив чуть больше места для видео.