Jag slog ner honom, är det JAG som är störd?

Nej du gjorde helt rätt. Kanske inte enligt lag men han slog någon försvarslös och du gav tillbaka.