孩子母亲可以就孩子父亲不给抚养费的行为向法院起诉。法律规定，子女由一方直接抚养的，另一方应当负担部分或者全部抚养费。负担费用的多少和期限的长短，由双方协议；协议不成的，由人民法院判决。所以孩子父亲作为不直接抚养方就要按时支付孩子抚养费，这是其法定义务，不得随意推诿拒绝。

一、抚养关系变更已付抚养费能退还吗

抚养关系变更已付抚养费只要在诉讼时效内，就可以退款。也就是说，判决的生效时间是诉讼时效的起点，而不是支付抚养费的时间。抚养费不是给成年人的，而是给孩子的健康成长的。即使抚养关系发生了变化，之前的抚养费也应该自己支付，这是自己的法定义务。除非是提前支付的部分，否则应返还对方的不当得利。离婚后，子女由一方直接抚养的，另一方应当负担部分或者全部抚养费。负担费用的多少和期限的长短，由双方协议；协议不成的，由人民法院判决。

二、关于夫妻间赌博孩子归谁的问题

夫妻一方赌博，这是属于违法行为，子女的抚养权应该归另一方，因为一方有赌博的恶习的，是不适合抚养孩子的；孩子由一方抚养的，作为不直接抚养方要给付抚养费，负担费用的多少和期限的长短，由双方协议；协议不成的，由人民法院判决。