人が離れていくのは

『怒らせたとき』

ではなく、

『呆れさせたとき』