有效的仲裁协议，总体上有三方面的法律效力，亦即：对当事人的约束力、对仲裁机构的效力和对法院的制约力。

(一)对当事人的法律效力

这是仲裁协议效力的首要表现。

(1)仲裁协议约定的特定法律关系发生争议后，当事人就该争议的起诉权受到限制，只能将争议提交仲裁解决，不得单方撤销协议而向法院起诉。

(2)并且必须依仲裁协议中确定的仲裁范围、仲裁地点、仲裁机构等内容进行，不得随意更改。此为仲裁协议对当事人还产生基于前两项效力之上的附随义务：任何一方当事人不能随意解除、变更已发生法律效力的仲裁协议;当事人应履行仲裁委员会依法作出裁决，等等。

(二)对仲裁机构的法律效力

有效的仲裁协议是仲裁机构行使仲裁管辖权，受理案件的唯一依据。没有仲裁协议的案件，即使一方当事人提出仲裁申请，仲裁机构也无权受理。仲裁管辖权属于协议管辖权，此不同于国际民事诉讼管辖权，后者的管辖权起于国家的司法主权，具有强制性，不以当事人之间的协议作为管辖的前提条件。虽然国际民事诉讼中也允许当事人协议选择管辖法院，但必须是在特定国家法律允许的范围内，受特定国家法律规定的种种条件的限制，当事人协议的自由度是非常有限的。仲裁协议对仲裁管辖权还有限制的效力，并对仲裁裁决的效力具有保证效力。当然，仲裁机构对仲裁协议的存在、效力或范围也有裁决权。依据《国际商会仲裁规则》(1998年1月1日生效)第6条第3款的规定，如果被申请人不按照第5条的规定提交答辩，或者一方当事人对仲裁协议的存在、效力或范围提出一种或多种异议，而仲裁院初步认定可能存在按照国际商会仲裁规则进行仲裁的仲裁协议时，仲裁庭得在不影响对这种或多种异议的可接受性和实质性下决定继续仲裁。在此情况下，有关仲裁庭的管辖权应由仲裁庭自已决定。如果仲裁院不确信存在仲裁协议，则应通知当事人仲裁不能进行。在此情况下，当事人仍有权请求有管辖权的法院对是否存在有约束力的仲裁协议作出裁定。

(三)对法院的法律效力

1、有效的仲裁协议排除了法院的管辖权。如选择了仲裁即排除了法院管辖。关于仲裁协议可排除法院管辖权的效力为大数国家所承认。但是亦有少数国家规定：仲裁协议不能完全排除法院对争议案件的管辖权，或者规定当事人对仲裁裁决不服时可向法院提起上诉。但在我国仲裁裁决被撤销或被拒绝执行，当事人如不能重新达成仲裁协议，只能向法院起诉。

2、另一方面，仲裁协议对法院的制约力还表现在，对仲裁机构基于有效仲裁协议所作出的有效裁决，法院负有执行职责。这体现了法院对仲裁的支持。

3、有效的仲裁协议是申请执行仲裁裁决时必须提供的文件。根据《联合国关于承认和执行外国裁裁决公约》(《纽约公约》)的规定，为了使裁决能在另一国得到承认和执行，胜诉的一方应在申请时提交：仲裁裁决的正本或正式副本;仲裁协议的正本或正式副本。在执行外国仲裁裁决时，仲裁协议是否有效，是法院审查的重要内容之一。