Надмірність інформації

Надмірність в теорії інформації це кількість бітів, використовуваних для передачі повідомлення мінус кількість бітів фактичної інформації в повідомленні. Неофіційно, це кількість витрачених марно «полів» в структурі, що використовується для передачі певних даних. Стиснення даних є способом зменшити або усунути небажану надмірність, в той час як контрольні суми — це спосіб додавання потрібної надмірності для цілей виявлення помилок при обміні даними по каналу з шумом.

Величина надмірності інформації пов'язана з фактичною кількістю інформації в джерелі.В реальних умовах незалежність елементарних повідомлень, вироблюваних джерелом, — явище досить рідкісне. Частіше буває протилежне — сильний детермінований чи статистичний зв'язок між елементами повідомлення одного чи кількох джерел.

Надмірність в інформаційних структурах підвищує надійність їх роботи. Через це передбачена парність деяких аналізаторів (зорового, слухового).З іншого боку, надмірність ускладнює систему, збільшує час обробки інформації, знижує реальну пропускну спроможність каналів зв'язку. Для її зменшення в цьому випадку використовують оптимальне кодування. Тому визначення необхідної надмірності вирішується в кожному конкретному випадку, виходячи з особливостей розв'язуваної задачі і можливих обмежень.