之前我家和别家的老人签了合同，合同内容是我家付5.5万买老人

之前我家和别家的老人签了合同，合同内容是我家付5.5万买老人的停车位（未去公证处公证），我们家也付了现金5.5万，但是他家的房子最近被法院拿去拍卖了，而这房子包括了停车位，现在他们家已经不能给我家停车位，而他家说我们签的合同没有去公证处公证而无效，不还我们钱。我们想私下去要他们返还5.5万，他们不还。我想通过人民调解委员会去调解，但是估计他们也不愿意去调解。可能最后要去法院起诉，在我们的合同中没有标明违约一方要赔多少钱，估计到时候我们家去起诉要花了一大把钱，这样我们家还是亏了很多钱，我现在不知道该怎么办。