意見の相違で離婚になって約3年、実は当時不倫してた彼への熱が冷めてきたので別れて元旦那との復縁を検討中。この考えは図々しいでしょうか?