18年6月底领的结婚证，同年12月生了一女，19年2月10日夫妻之间闹矛盾男方赶女方离家，并要求女方留下家门钥匙和孩子衣服，不让女方带走孩子，女方被娘家人接回，11日上午男方说是去女方家道歉然男方父亲把小孩放女方家一会儿就走了，打算第二天去上海，可是因小孩一直吐奶，直到傍晚有所好转，女方家晚上变借此为由叫来男方给个说法，男方确和女方叔叔及父亲打起来了，后男女双方感情彻底破裂，男方抱着小孩离开了女方家，这时候小孩2个月。女方因被赶出时只有4－5000块便在娘家待了两天便一直在外工作，后面男方家来过女方家几次，但是都是为了要彩礼和孩子的抚养费，不然就把孩子给女方，他们家不要。孩子在大概2个半月的时候得了肺炎，男方母亲发过微信给女方，女方没有露面，女方让其父母去医院探望了解详情直至好转。孩子好了后不久男方去女方家要求离婚退还彩礼，女方不同意退还。协商不成男方甚至在女方村里造谣，女方也一直在外未有理会，男方家见女方不为所动，男方母亲抱着孩子时不时在女方家吃住。最后一次女方母亲开始以为她只是和往常一样赖着两天，可没想到会赖着不走了，于是便骑电动车把她匡到了镇上，会被她发现意图，她便扣留了电动车，便把车扔到了水里，女方母亲去朋友家也未回家，男方母亲便去女方家砸门，后来估计看没人就回去了。直到19年9月男方找当时的媒婆，也就女方家姑姑一家协商让女方签自愿放弃抚养权并无偿补偿小孩6万的协议，女方愿签，但要求把6万写明是孩子的抚养费，协商期间男方母亲抢了女方母亲的金项链且不承认，女方并由6万降5万，后男方不愿，双方未达成一致。后来男方打电话找过女方意思表明彩礼钱还给他，他一个人抚养孩子，女方依旧不愿归还。现20年3月，女方接到法院电话通知说被起诉离婚，让去法院一趟。  
想请问下律师，就上述情况（暂时想起来这些）我需不需要归还彩礼？此时我应该做些什么才对自己有利？他起诉我对我来说最严重的后果是什么？……