我爸爸以前經人介紹認識了一個女的，兩個在一起沒有領證，叫了幾個親戚坐在一起說了說就在一起了，簽了個協議誰說不過了就給另一方十萬，簽了字，按了手印，本來剛開始說是兩邊的家庭都照顧，后來我爸基本都在女方那一邊，五六年了每年在女方家里都最少超過了半年，女方家里有大面積的農活，地里活都是我爸在干，平時偶爾給我爸點零花錢，我還在上學時我爸沒錢女方就給了幾千塊錢，前段時間我爸生病住院醫生就說的不能干重活了，所以我們就讓我爸在自己家里，不去女方家里了，女方每次都到處宣傳，親戚朋友哪里說我們這邊家里的壞話，這次給派出所，政府，村上打電話騷擾還要我們支付協議的十萬，已經影響到親戚朋友他們的正常生活了，該怎么辦？