Jag slog ner honom, är det JAG som är störd?

Ja, du har gjort fel. Han har också gjort fel. Två fel gör inte ett rätt. 

Det du SKULLE ha gjort var att ta din väninna och gå och låta honom hållas i oredan. Sen skulle ni ha gått till polisen och kanske tagit kontakt med en kvinnojour dagen efter.