IVa_, А какая версия Powershell?
Код:

$host.version.tostring()
Если 2.0 и ниже:
Код:

$dirs = gci "d:\music" -recurse | ? { $_.psiscontainer }
foreach ($dir in $dirs) {
if ( test-path "$($dir.fullname)\*.mp3" ) {
$files = gci $dir.fullname '*.mp3'
1..$files.count | % { move-item -lit $files[($_-1)].fullname "$($dir.fullname)\$( '{0:d3}' -f $_ ).mp3" -whatif }
}}
На сколько помню до 3-ей (или 4-ой?) у gci (get-childitem) нет контекста для файловой системы и у rename-item нет ключа -literalpath