Порядок общения с ребенком после развода

Я развелась со своим супругом, когда нашему сыну было шесть лет. Когда мы разводились, муж пил, изменял мне, что и послужило причиной развода. Исковое заявление о разводе подавала я, в иске было написано, что спора о проживании и общении с ребенком между нами нет, сын остается со мной. В суде муж не возражал, с тем, что ребенок останется со мной, но спустя месяца три после развода, начал предъявлять мне претензии, что он хочет забрать сына к себе, хочет часто с ним видеться. Я конечно отказала ему, после чего он подал иск в районный суд, с требованием, о том, что хочет забрать ребенка себе. В результате мы заключили в суде мировое соглашение и определили порядок общения, по которому раз в две недели муж может забирать сына к себе для общения и проводить с ним половину каникул.

Прошло уже четыре года и меня совершенно не устраивает, что муж забирая сына к себе позволяет при нем быть пьяным, я часто забирая сына вижу это. Могу ли я теперь изменить старое соглашение и вообще пресечь это общение?