如果我买了一套楼房，但是中间人把对面的楼房的钥匙给我了，我要的那套楼房的钥匙没有给我，我忙于工作，就去看房的时候看了看，后来就没有去过，也不知道楼房钥匙是对面楼房的，直到有人买了我那套楼房我才知道，现在我想退钱，他还不给了，怎么办