В VirtualDub-e (чем свежее версия, тем лучше) захватывайте в формат HuffYUV или MJPEG с качеством 19.
Звук записывайте в формате wav, 16 бит, 48000 герц, моно. Формат wav при захвате обязателен, иначе звук с видео будут разбегаться.
Отключите антивирус, экранные заставки и выключение монитора, а также все программы, выполняющиеся в фоновом режиме.
Немного подробнее.
