Nachrichtentheorie (Wissenschaft • Mathematik • Angewandte Mathematik • Kybernetik • K1 und K2 - Allgemeine Kybernetik)

Beschreibung Die Informationstheorie (auch Kommunikationstheorie oder Nachrichtentheorie) befaßt sich mit der Statistik von Signalen und Kommunikationsprozessen. Ihre Wurzeln liegen in der Mitte des 20. Jahrhunderts, als Wissenschaftler wie Claude Shannon, Warren Weaver und Norbert Wiener diesen Zweig der Kybernetik mit einer Methodologie für eine statistische Beschreibung von Prozessen der Information und ihres Austauschs begründeten. Literatur: Shannon, C. E. und W. Weaver (1949, 1998). The Mathematical Theory of Communication. Urbana and Chicago, University of Illinois Press.

Informationsgehalt Die Unsicherheit (und damit der Informationsgehalt) eines zufälligen Ereignisses i kann mit I = - ld pi quantitativ als negativer Logarithmus seiner Wahrscheinlichkeit beschrieben werden. ld: dualer Logarithmus mit ld M = lg M / lg 2 = ln M / ln 2

Shannon-Gleichung (Shannonsche Formel) Die Menge der Information, die ein ergodischer Prozeß liefert, ist mit H = - K Sigma i=1 n (pi ld pi) gegeben. H wird als Entropie der Informationsquelle bezeichnet.

Redundanz Differenz zwischen der tatsächlich übertragenen Information und der Mindestmenge an Information, die zur Übertragung der Semantik nötig ist. Positive Redundanz kann die Wirkung von Störsignalen vermindern.