您好，今年寒假的时候我经过郑州的一个劳务去上海打了寒假工，由于工资是每个月10号发上个月25号之前的工资，我们去的时候是12月低，所以到2月十号才能发工资，当时那个劳务跟我们说，我们要是没钱的话，可以向他那边预支，所以我跟他前后要了两次一共800块钱，但是他是以工资不能预支，所以打着借给我钱的名义来给我的，劳务说我们的工资除了上海那边每个月定期的工资之外，他们这边会等我们工期结束给我们返费， 之前他大致跟我说过，返费应该是2000多块钱，结果昨天他跟我说，我这边返费出了问题，然后问我要我借他的800块钱，我觉得他这笔返费很有可能不给我了，那800块钱我也不想给他，但是我又害怕他通过维权的方式，请问一下我这笔钱要是不给他的话呢，那是不是我这边的责任呢？