вы знаете - желтый (255.255.0) имеет HSL (60.100.100), синий (0.0.255) имеет HSL (240.100.100) и это значит что они одинаково далеки как от белого так и черного.
а разные они потому что желтый и синий сами по себе ближе и дальше от черного как цвет, не осветленный и не затемненный.
Вот тут на рисуночке это очень хорошо показано - там внешний круг - цвета, внутренний - отношение к черному.
как определить точное отношение цвета к черному? попробуйте в paint.net залить квадрат, а затем применить операцию перехода в "серую" палитру - должно помочь
