我们和一个小建筑商签了一个盖房子的合约，我们双方是同一个经纪人。几天后我们又问了mortgage经纪，她说你们现在的收入很难配得起这个数字的mortgage， 我们就发短信给经纪（一周内）。他同意我们填取消合约的表，然后会让建筑商签。近一个月后，经纪告诉我们,建筑商说签过的盖房合约不能变，我们要取消合约得赔他2万元，不然就法庭上见。我们认为没有给建筑商造成任何经济损失，不应该赔他2万元。经纪问我们是否要上法庭，请lawyer.请问谁有高见？