根据民法典的规定，这种情况要看协议是怎样约定的，以及子女是否成年，如果协议明确约定房产的所有权归子女所有，但是子女未成年的话，夫妻抚养一方有使用权。

《民法典》第三十四条监护人的职责是代理被监护人实施民事法律行为，保护被监护人的人身权利、财产权利以及其他合法权益等。监护人依法履行监护职责产生的权利，受法律保护。监护人不履行监护职责或者侵害被监护人合法权益的，应当承担法律责任。