Мое личное отношение совершенно одинаковое, что к мужчинам, что к женщинам - пока Вы в семье, трахаться на стороне нельзя, и неважно как это назвать - любовью или чисто сексом.
И нельзя даже не потому, чтобы соблюдать какие то там нормы морали - а чисто для собственного мироощущения, а также для воспитания детей, особенно среднего возраста, которые прекрасно замечают оттенки отношений в семье.

Если ваша жена ничего не говорит/не замечает, что вы трахаетесь на стороне - это вовсе не говорит о том, что она не знает.

Женщины обычно очень чувствительны к малейшим изменениям отношений, да даже и мужчины вполне почувствуют, хотя обычно более толстокожи.

Хотя, признаю, многие не заморачиваются на такие тонкости и тоже прекрасно себя чувствуют.

Ну и универсальный совет, если не хватает секса в семье - это практически всегда говорит о том, что Вы не умеете о нем говорить с мужем, а это надо, особенно мужчинам, объяснять им свои ощущения и как их улучшить, на этой теме можно стать гораздо ближе друг к другу.

"Почему с моральной точки зрения мужчинам такое поведение это прощается, а женщинам нет?"

Действительно, сложились такие представления.
Но я считаю, тут даже не моральный аспект, а скорее древний эволюционный, прикрытый сверху моралью.
Трахающаяся на стороне женшина вполне может понести ребенка от другого человека, что всегда считалось нарушением основополагающего принципа воспроизводства.
На ней лежит как бы большая ответственность, как ни крути.