"Поборол" "противный" амперсанд (
&), а заодно и большинство других "нежелательных" символов. При данном методе "выжили" только кавычки (
"), да и то непарные (парные кавычки в середине строк корректно реплицируются, а вот по краям строк "самоликвидируются", что тоже не очень хорошо). Остались также нерешенными проблемы репликации пустых строк и пробелов в начале строк (в т. ч. строк, состоящих из пробелов). Думаю их можно решить другими методами.
Код:

@ECHO OFF
SET File=My_File.txt
FOR /F "tokens=1* delims=:" %%I IN ('FINDSTR /N /R . %File%') DO ((
SET /P "VAR=%%J" 0>nul|FINDSTR DBXL>nul&&((SET /P "VAR=%%J" 0>nul&ECHO.&ECHO ;VSTAVKA)>>New_File.txt))||((SET /P "VAR=%%J" 0>nul&ECHO.)>>New_File.txt
))
REN %File% %File%.old&&REN New_File.txt %File%