律師你好，我2016年經法院調解離婚，兩個孩子判給女方撫養，但小孩一起跟隨我父母生活，當時離婚我算是凈身出戶！我父親寫了一張協議給女方，兩套房子，分別給兩個孫子，女方可方可以跟隨兩孫子住！今年暑假孩子母親回來帶兩個孩子去玩，回來之后變化很大，最大的小孩上高中，周末回來住；最小的小孩現在在他外婆家住，前一陣回來罵奶奶，現在兩個孩子很不尊重我父母； 現我父親想要撤銷當時寫的那份協議。協議我父母簽名，蓋手印！（母親的名字是父親寫的），協議是一式兩份，協議也沒有經過公證處公證！ 我們該怎么樣？假如女方起訴，那我們又該如何應對！