Информацией называют изменение неопределенности. Кратко говоря, переход из системы с меньшей неопределенностью в систему с большей обязательно сопровождается информацией. Неопределенность же - это количество ситуаций, которые допустимы при заданном критерии.
Так, если я загадаю натуральное число от 1 до 10, неопределенность ~10. Если же я скажу, что число четное, неопределенность уменьшится до ~5 =>я сообщил информацию.
Математика - великая наука, и многие ответы на сложные вопросы там есть :)