Пункт 3 не пробовал если честно
А вы уверены что внутри матрешки лежит чистый 264 стрим а не в AVI (например пожатое VFW x.264) ведь MKVtoolnix так внуть матрехи AVI и покладет, и извлекет его соотвестна.
P.S. По пункту 1 - расширение файла может быть любое, я поставил 264, чтобы Yamb подцепил
P.P.S Попробовал п.3 - ВСЁ РАБОТАЕТ!
Не пугайте!!!
