Vem är rädd för svarte man..?

Oj, jag har nog aldrig fattat att "svarte man" syftar på hudfärgen. Jag trodde man bara syftade på en mystisk man klädd i svarta kläder, ni vet sådär busar brukar vara klädda i tecknade filmer.