签订了一份贷款合同，要求支付保证金3000，付过之后忘了填写备注又让我支付了一遍，信用分5800，激活费用3800总共支付15600，现在还要求支付，我不想继续办了，让他把钱退给我，他说要起诉我，我该怎么办
