相亲男让我好纠结 还要跟他继续吗？

前段时间通过相亲认识一个男人，比我大4岁。他条件也算不错，但是他好像很自卑，因为他有过短暂的结婚史，没有孩子。我未婚。相亲后，我感觉彼此都有好感，但他突然说，因为工作的原因，可能大家会聚少离多，他怕给不了我所谓的幸福，觉得还是做好朋友比较好。我同意了。慢慢的因为工作比较忙，我也开始刻意的忘记他。突然有一天晚上，他给我打电话让我出去坐坐，我很冷漠的拒绝了。过了几天，他又电话，于是周末虽然下着雨，大家还是出来坐了一会，在闲聊时他说起了他之前的婚姻，然后跟我说，他其实对我蛮有感觉的，但是害怕我家人不能接受他这种身份，然后希望我真的能认真的考虑这个事情，给他一个回话。经过我和家人的认真考虑，我在两天后给他了回答：我们只看重现在和将来，对于他以前的事情，我们当做没有发生。可是我电话后，他却没有再回复我了……事已至此，我真的不知道他到底是什么心态，我该怎么做？继续联系还是慢慢的等事情的自由的发展？我现在不明白，他到底是真的太忙了，顾不上这个事情， 还是，这真的是一种借口，他觉得那天他失态了，不想联系了！