如何处理婚姻出轨问题？

我二十六岁，前年结婚，现在已是一岁孩子的妈妈，前几天我出轨了同事。他两个月前刚入职，面试时加了他联系方式，可能我是他第一位公司的熟人，被撩了一个多月，然后我俩就出去到了酒店，我确实被他迷住了，百般的夸赞和无限地对我好，打破了我心底最后一道防线。现在他让我离婚和他结婚，我现在才知道他去年离了婚，目前带着一个三岁的女儿生活。他的嘴真的很温柔，而且很会关心人，比我老公实在好千万倍。但是我不敢离婚，孩子刚刚一岁，不想让孩子没有妈妈。

先介绍一下我们家的情况，老公是一位程序员时常凌晨才回家，甚至连着几天都在公司上班，年纪轻轻熬夜熬得面相衰老。老公没有时间关心我，就算休假也是待在家里，从不带着我去旅游或者逛街，就连我生理期来了他也不活关系我一下。结婚两三年我们之间的交流越来越少，不开心的时候连吵架都吵不起来，时间久了就好像两个陌生人住在了一起。不过他每月的工资都会主动上交，这是我唯一觉得他对我好的地方，可是一个女人并不只要物质上的需求，生理上和生活上更要更多关爱。人家二十多岁的年轻小伙都是朝气蓬勃，和自己媳妇无限激情，而我觉得提前进入了老年期，想七十多岁的夫妻，只有每天陌生人按部就班地躺在同一张床上。
我是一个比较传统的女人，至少我以前是这么想的，出轨绝对不会放生在我的身上。现在这位老公是我第二任男朋友，这样说我的情感的经历并不丰富，我和他是相亲认识。我的外貌条件并不差，但是自认为比较冷漠，结婚前也对结婚没什么感觉，但是，我绝对不是性冷淡，实话实说。
他能撩我让我非常意外，他是那种身材超级标准，又有一张好卡的面容，他是我们公司女同事闲聊时的谈资，长得很像一位当红男明星。对于我这种已婚的女人，从来没想过他会撩我。在聊天的时间里他对我很关心，在公司我俩像陌生人，每到下班他就会悄悄把我送到家里，刚开始他叫我张杰，不知道什么时候开始叫了我的昵称。渐渐我喜欢上了他，确切地说是爱上了他。我俩一个月内开了四五次宾馆，我都很喜欢或者满意。
最近他突然要求我离婚和他结婚，我才发现这事情有些严重。我对他说保持这种关系不好吗，两个人不打扰对方生活，他满口拒绝，他说他想找个爱他的老婆结婚，不想就这样过下去。我能够理解他的心情，毕竟一个单身爸到一个女儿挺不容易，这几天我也曾想过离婚，可是我不知道怎么向老公开口，更不知道怎么去和家人解释，难道直接说自己在外边有了男人，孩子现在还小不能离开妈妈。现在我的进退两难，我对他说能不能等我两年，等孩子大了我给你一个明确答复，他虽然不同意但是也没拒绝，就这样我俩一直保持着不正当关系。我也知道这样不好，可是现在我也没任何办法。
如果有人骂我不要脸，我能够沉默地接受，说我是贱人我也承认，总之我会接受一切谴责，我也知道当我放弃底线第一次去和他开放的时候，我已经没有了道德底线。可是我也是真的爱他的，所有的悲剧都不是一人能够造成，我老公整天对我不管不问，一旦有男人对我嘘寒问暖，我的少女心肯定会泛滥。所以，在此我想对男人说，结婚后要对媳妇好一些，否则有可能成为我这般处境。
说出来心里好受多了，压在心里没人倾诉，整日整日的睡不着，有段时间感觉自己压力他打，整天无精打采，上班老是做错东西被领导骂了好几次。在这里说出来我不是求你们原谅，你们随便骂我都行，我只是想说出来，有种如释重负一般。