Тоесть нужно одеватся чтобы этого дебафа не было для быстрейшего набора опыта?

Да. Именно для того и сделано.

На что оно влияет?

Помимо опыта и зубов ещё влияет на возможность стрелять через тебя магам противника.
Ты у них светло-серым отображаешься в бою и через тебя стрелять нельзя в более сильных.
И мне кажется что за тебя тактик не дают или дают меньше, не помню. Чё-то такое обсуждалось.