[Anonymоus]

P.S. Если это важно, то у меня текстовик в 3 МБ. »

Очень важно. Там же ограничение на число символов в строке, а проверку на дубли я именно так делаю. Сейчас перепишу под использование внешней утилиты uniqline

UPD: Сделал, пробуйте - http://rghost.ru/38437987