Есть только один способ сделать так, чтобы о тебе перестали говорить плохо - поступить еще хуже этих слов.
Как результат - или станут говорить хуже, или, что скорее, просто перестанут говорить - будут бояться следующего "постучали снизу".