产权人不能赶走永久居住权人。居住权人对房屋有使用的权利。如果协商不成，可以报警解决或者诉讼方式解决。居住权人有权按照合同约定，对他人的住宅享有占有、使用的用益物权，以满足生活居住的需要。一般情况下房屋的产权人也就是房屋的居住权人，当房屋的产权人将房屋的使用权转让给其他人，也就造成了占有权与所有权分离，居住权人就拥有对房屋的独立使用权利。
居住权人的权利1、居住权人享有对房屋的使用权，但此种使用权须限于居住的目的。
2、居住权人享有附属于房屋使用权的各项权利，如相邻权等。
3、居住权人有权为居住的目的而对房屋进行修缮和维护。
4、居住权人有权在居住期间内将房屋出租给他人以收取租金，但必须符合相关的法律要求。例如承租人转租承租的房屋必须先经过原出租人的同意。
根据《中华人民共和国民法典》第三百六十七条，【居住权合同】设立居住权，当事人应当采用书面形式订立居住权合同。
居住权合同一般包括下列条款：
(一)当事人的姓名或者名称和住所;
(二)住宅的位置;
(三)居住的条件和要求;
(四)居住权期限;
(五)解决争议的方法。
第三百六十八条，【居住权的设立】居住权无偿设立，但是当事人另有约定的除外。设立居住权的，应当向登记机构申请居住权登记。居住权自登记时设立。
第三百六十九条，【居住权的转让、继承和设立居住权的住宅出租】居住权不得转让、继承。设立居住权的住宅不得出租，但是当事人另有约定的除外。
第三百七十条，【居住权的消灭】居住权期限届满或者居住权人死亡的，居住权消灭。居住权消灭的，应当及时办理注销登记。