Код:

foreach (FileInfo file in dir.GetFiles())
{
if (file.Extension == "txt")
{
file.Delete();
}
Как то так(пишу на память). Не надо никаких стрингов с масками. Ты и так в foreach оббегаешь все файлы в папке, а FileInfo обладает всеми нужными свойствами - имя, путь, РАСШИРЕНИЕ файла и т.д.
И однозначно вызов file.Delete(); надо оборачивать в try... catch, т.к. могут вылететь исключения при попытках удалить файл.