我与前夫与21年8月协议离婚，几年前在婚姻关系存在期内购买了

我与前夫与21年8月协议离婚，几年前在婚姻关系存在期内购买了一套住房，首付由女方出钱，男方付过一段时间的按揭，住房在女方名下，没有男方的名字。后于男方出轨离婚，协议上注明女方名下的这套房由双方6岁的女儿所有，女儿的抚养权在男方，现在男方把购房合同捏在手里，房门钥匙也不给我，说既然女儿抚养权给了他，那么在女儿名下的房子也该是他们的，但是现在房子还在我名下，并没有过户给6岁的女儿，请问现在男方有没有这个房子的使用权呢？谢谢解答。