你好，当时离婚的时候以为女方还会跟我复婚，离婚协议签的比较偏

你好，当时离婚的时候以为女方还会跟我复婚，离婚协议签的比较偏向孩子妈妈。房子有贷款，两个孩子，一男，一女。抚养权给女方了。每月支付4000抚养费。房子给大儿子，等满十八岁产权变更。后来孩子妈妈就走了，再不回来了，两个孩子我跟父母带着。她在外面和别人一起了。现在我就是想变更孩子抚养权，大的10岁。小的3岁。而且小女儿是她婚姻存续期间和别人生的孩子，我们一直抚养到现在，我我们刚知道，我父母，还有我的心里打击很大，但我们舍不得孩子又。这种情况我都能申请什么赔偿。打官司我们能赢吗？抚养权我们能拿到吗？