za1, ошибки можно обрабатывать и конкретную ситуацию повторного добавления - игнорировать.
всё с Compare-Object нормально: либо используем -PassThru, либо раскрываем свойство InputObject
можно ещё примерно так сделать:
Код:

$groups | ?{-not ($groups1 -contains $_)}