Может быть, он просто в Вас влюблен, давно и безответно? Оттого и агрессия?
Представляет Вас с другим - и в бешенство впадает. Довольно распространенный случай.