我老公出轨，我们分居一年了，有两个孩子，孩子现在在我娘家。分居的这一年他们家要面子有需要到孩子的地方就来我娘家接回去，没需要孩子了就又送到我娘家来。。我老公家还欠我娘家十几万钱，当初借钱建房子出于信任，娘家直接给现金的也没写欠条，现在我想离婚，但是我老公家不承认借钱的事。现在公公癌症快要去世了。我不让两个孩子回去看公公。这样犯法吗？我不让两个孩子回去看公公，对我以后离婚有什么不利吗。