依据我国刑法的规定，持有枪支实施绑架行为的，是会构成犯罪的，可以按非法持有枪支罪和绑架罪追究刑事责任的。

相关法律规定

《中华人民共和国刑法》

第一百二十八条【非法持有、私藏枪支、弹药罪】违反枪支管理规定，非法持有、私藏枪支、弹药的，处三年以下有期徒刑、拘役或者管制；情节严重的，处三年以上七年以下有期徒刑。

第二百三十九条【绑架罪】以勒索财物为目的绑架他人的，或者绑架他人作为人质的，处十年以上有期徒刑或者无期徒刑，并处罚金或者没收财产；情节较轻的，处五年以上十年以下有期徒刑，并处罚金。

犯前款罪，杀害被绑架人的，或者故意伤害被绑架人，致人重伤、死亡的，处无期徒刑或者死刑，并处没收财产。

以勒索财物为目的偷盗婴幼儿的，依照前两款的规定处罚。

非法持有枪支罪的立案标准是怎样的

违反枪支管理规定，非法持有、私藏枪支、弹药，涉嫌下列情形之一的，应予立案追诉：

(一)非法持有、私藏军用枪支一支以上的；

(二)非法持有、私藏以火药为动力发射枪弹的非军用枪支一支以上，或者以压缩气体等为动力的其他非军用枪支二支以上的；

(三)非法持有、私藏军用子弹二十发以上、气枪铅弹一千发以上或者其他非军用子弹二百发以上的；

(四)非法持有、私藏手榴弹、炸弹、地雷、手雷等具有杀伤性弹药一枚以上的；

(五)非法持有、私藏的弹药造成人员伤亡、财产损失的。

“非法持有”，是指不符合配备、配置枪支、弹药条件的人员，擅自持有枪支、弹药的行为；

“私藏”，是指依法配备、配置枪支、弹药的人员，在配备、配置枪支、弹药的条件消除后，私自藏匿所配备、配置的枪支、弹药且拒不交出的行为。