去年底买入一套二手房，今年去过户时，房产局的办事人员说这套房子是卖家和他前妻的共有财产，必须要他和前妻都签字才能办理，可他们离婚时有协议书，上面说房产归男方，而且房产证也只有男方的名字，现在卖家的前妻不来签字就不能办理过户吗？