ストレートに解釈して、
友人たちがふつうならドンビキして去るだけだから、
「うるさい」と言ってくれるのは、友人だからなんでしょうね。