[xoomer]

alvastar

Может не хватает блока питания на 300 Вт

Явно криминал. Небось и китайский ещё? И процессор Presscott? 450Вт минимум для вашей конфигурации. А то проблемы не только с видео, а и проблеммы с аппаратной частью ПК будут. Даже лучше 500Вт, так как два жёстких диска и видео мощное.

Дальше:

Иногда при этом гаснет изображение на мониторе, и появляется надпись Out of range

Скорее всего нехватает питания видеокарте.

А чем захват видео идёт? Видеокарта с TV-In или отдельная плата захвата?

В 80-90 процентов случаев виной этих лагов слущит непомерно слабенький БП. Меняй как можно скорее.

[gf100]

Пробовал производить захват через USB и IEEE1394

У меня близкая конфигурация (видео по-слабее ATI-9600, бп - 350 качественный) и такая же камера. Захватываю через IEEE1394 - устанавливал дополнительный в PCI. Некоторые программы сразу пытаются кодировать видео в MPEG. При этом на полную используют ресурсы не только центрального процессора, но и процессора видеокарты. Попробуй захват в DV - он практически без обработки.
А, вообще, xoomer говорит дело - меняй блок питания. Кстати, в тяжелых игрушках как ведет себя видео?