2014年5月，我和一位政府部门的领导合作公司干工程，他负责揽活，我负责施工，期间他多次向我索要现金八十余万，向我承诺能干很多工程，我考虑到后面能干很多工程，所以就给他了，我也没有留下给他钱的证据。干了一年多共计360来万的工程，合同都是我签订的，因为工人等方面的原因，他就不让继续干了。因为没达到他向我承诺的，所以我就找他，要求把他向我索要的钱连本带利还给我，他表面上不承认，私下里又让他亲戚和我谈，给我设了一个圈套，他们先动手激我把他亲戚打伤了，我被判了一年半，我现在出来了，想把钱要回来。我该怎么办？