按照《土地管理法》第六十五条的规定，收回集体建设用地使用权的主体是农村集体经济组织，而不是市、县国土资源管理部门。但现行的土地管理法律、行政法规未规定拒绝交回集体建设用地使用权可以采用的强制措施，这是法律的一大缺陷，这也正是导致集体建设用地使用权难以收回的一个主要原因。

无偿收回集体建设用地使用权无偿收回集体建设用地使用权主要是指《土地管理法》第六十五条第一款第（二）、（三）项规定的情形。具体内容包括：

1、不按照批准的用途使用土地的；

2、因撤销、迁移等原因停止使用土地的。上述两种收回集体建设用地的情况，在具体操作时有明显不同：第1种情形是因为用地者不按照批准的用途使用土地而产生的违法行为，收回土地使用权按理应当采取行政处罚方式进行，但法律未作规定。第2种情形是土地使用者因为单位撤销、迁移等原因而不再继续使用集体建设用地，收回土地使用权不会有什么阻力。农村集体经济组织报原批准用地的人民政府批准后，向土地使用者下发《收回集体建设用地使用权决定书》，终止集体建设用地使用权，注销土地登记和土地证书。

有偿收回集体建设用地使用权有偿收回集体建设用地使用权主要是指《土地管理法》第六十五条第一款规定的“为了乡（镇）村公共设施和公益事业建设，需要使用土地的”情形。这种情况必须注意，土地使用者还在使用土地，并没有发生违法行为，是因为乡（镇）村公共设施和公益事业建设需要使用土地，而导致土地使用者不能继续使用已合法取得的集体建设用地。收回这类土地使用权，可以由农村集体经济组织与用地者协商，待达成补偿协议后，再公告收回土地使用权，注销土地登记和土地证书。