先日離婚した不倫相手が会う度に「(俺)も離婚して」とせがんでくる。こういう時ってどうしたらいいの?