Contact avec l'enfant quand il est chez l'autre parent

J'ai un droit de garde exclusif pour mon enfant et sa mère un droit de visite et d'hébergement un week-end sur deux et la moitié des vacances scolaires.

Elle vient de se séparer de son compagnon de 7 ans avec qui notre fils a créé des liens.

Aujourd'hui notre enfant a un téléphone afin qu'il puisse nous joindre en cas de besoin ou s'il souhaite parler à l'autre parent. Mme était contre cette idée mais cela me paraissait nécessaire afin que l'on ne me reproche pas de filtrer les appels de Mme et maintenant cela lui sert également à rester en contact avec cette personne.

Mme me demande de l'informer sur le fait que notre fils puisse le voir ou rester chez cette personne pendant mes périodes de garde de l'enfant. La situation est particulière pour moi car elle refuse catégoriquement sur son temps de garde de voir cette personne et notre enfant me le demande.

Cette personne a toujours pris soin de notre enfant (voire plus que la mère) et souhaite également avoir la possibilité de voir notre enfant si je l'accepte.

Suis-je dans l'obligation d'informer Mme quand notre enfant passe du temps avec cette personne ou pas ?

J'ai peur qu'aujourd'hui si j'accepte cette demande, que demain elle me demande que cette personne ne voit plus notre fils car il n'y a pas de lien officiel avec cette personne. Je suis pris entre deux eaux aujourd'hui car je n'avais pas spécialement envie que notre enfant garde contact mais il me le demande et je ne me vois pas le lui refuser et je ne vois pas pourquoi je devrais justifier a mon ex conjointe des personnes avec qui mon fils se trouve tant que c'est sur sa demande ou dans son intérêt (de mon fils).

D'avance merci pour votre réponse