专利权人恢复专利权的，应该向国务院专利行政部门请求恢复权利。

《中华人民共和国专利法实施细则》

第六条当事人因不可抗拒的事由而延误专利法或者本细则规定的期限或者国务院专利行政部门指定的期限，导致其权利丧失的，自障碍消除之日起2个月内，最迟自期限届满之日起2年内，可以向国务院专利行政部门请求恢复权利。

除前款规定的情形外，当事人因其他正当理由延误专利法或者本细则规定的期限或者国务院专利行政部门指定的期限，导致其权利丧失的，可以自收到国务院专利行政部门的通知之日起2个月内向国务院专利行政部门请求恢复权利。

当事人依照本条第一款或者第二款的规定请求恢复权利的，应当提交恢复权利请求书，说明理由，必要时附具有关证明文件，并办理权利丧失前应当办理的相应手续；依照本条第二款的规定请求恢复权利的，还应当缴纳恢复权利请求费。

当事人请求延长国务院专利行政部门指定的期限的，应当在期限届满前，向国务院专利行政部门说明理由并办理有关手续。

本条第一款和第二款的规定不适用专利法第二十四条、第二十九条、第四十二条、第六十八条规定的期限。