怎么办

刚才他拨电回来说有朋友在沙巴带回来一些新鲜的海鲜，要我们今晚过去一起吃。可是我听了却没有想要去的冲动，也没有任何的喜悦。在交谈中，我只是敷衍了事，答应了，但我内心却不是这么想。
过后，我还是传简讯告诉他我不去，电话就回来了。他问我为什么不去，我也无言以对。该怎么说，我不知道。我很想认识他的朋友，很想参与他们的生活，想了解他生活中的点点滴滴。但我却不懂如何融入，该谈些什么呢？难道谈我的工作吗？他们不会有兴趣的。
他其中一个朋友和他以前的女朋友很要好，我的心一直在想着他不会真心和我交朋友，只要有他的出现，我的脑里就会出现他前女友的影子，我会认定他的朋友对我有敌意。
好朋友告诉我一定要认识他的朋友，融入他们的生活，我真的很想这么做，但我该怎么办？我也不懂该如何告诉他我的心底话，只有发泄在这里，希望他能明了。对不起。