Teoria informacji
Teoria informacjiTeoria informacji – dział
matematyki
na pograniczu
statystyki
i
informatyki
, mający również olbrzymie znaczenie w współczesnej
telekomunikacji
, dotyczący przetwarzania informacji oraz jej
transmisji
,
kompresji
,
kryptografii
itd. Historia i charakterystyka teorii informacjiZa ojca teorii informacji uważa się
Claude'a E. Shannona
, który prawdopodobnie po raz pierwszy użył tego terminu w
1945
roku, w swojej pracy zatytułowanej "A Mathematical Theory of Cryptography". Natomiast w
1948
roku, w kolejnej pracy pt. "A Mathematical Theory of Communication" przedstawił najważniejsze zagadnienia związane z tą dziedziną nauki. Shannon stworzył podstawy ilościowej teorii informacji, dlatego późniejsi autorzy próbowali stworzyć teorie wyjaśniające wartość (cenność) informacji. W Polsce
Marian Mazur
stworzył oryginalną teorię opisującą zarówno ilość jak i jakość informacji. Opisał ją m.in. w wydanej w
1970
roku książce Jakościowa teoria informacji. Wprowadził w niej rozróżnienie między informacjami opisującymi a informacjami identyfikującymi i wykazał, że tylko liczba informacji identyfikujących jest tym samym co ilość informacji wyrażona wzorem Claude E. Shannona – wbrew panującemu dotychczas przeświadczeniu, że odnosi się on do wszelkich informacji. Ważne
pojęcia
teorii informacji: Zobacz wyższe
jednostki informacji
. -
entropia
: najmniejsza średnia ilość informacji potrzebna do zakodowania faktu zajścia zdarzenia ze zbioru zdarzeń o danych
prawdopodobieństwach
.
Wzór na entropię to: gdzie p(i) to
prawdopodobieństwo
zajścia zdarzenia i.
Pojęcie entropii w termodynamice
jest do pewnego stopnia związane z
pojęciem entropii w teorii informacji
. Model statystyczny rzędu NJest to
model
rozkładu prawdopodobieństwa, w którym pod uwagę bierze się N poprzednich znaków: - model rzędu 0 oznacza, że nie bierze się pod uwagę poprzednich znaków
- model rzędu 1 oznacza, że bierze się pod uwagę jeden poprzedni znak
- model rzędu 2 oznacza, że bierze się pod uwagę dwa poprzednie znaki
- model
nieskończonego
rzędu oznacza, że bierze się pod uwagę wszystkie poprzednie znaki.
Literatura- Thomas M. Cover, Joy A. Thomas, Elements of Information Theory. Wiley Series in Telecommunications, 1991.
- Gareth A. Jones, Mary J. Jones, Information and Coding Theory. Springer, 2000.
- David J.C. MacKay, Information Theory, Inference, and Learning Algorithms. Cambridge University Press, 2003.
- Ming Li, Paul Vitanyi, An Introduction to Kolmogorov Complexity and Its Applications. Springer, 1997.
-
Marian Mazur, Jakościowa teoria informacji
. WNT, Warszawa 1970, ss. 223.
Zobacz też Linki zewnętrzne
Inne hasła zawierające informacje o "Teoria informacji":
Mieszko II Lambert
...
Nadciśnienie tętnicze
...
Brno
...
Wiktor Sukiennicki
...
Replikacja
...
Andrius Kupčinskas
...
Okręg kowieński
...
Akcja (prawo)
...
Oddziaływanie elektromagnetyczne
...
Katedra Limnologii Uniwersytetu Gdańskiego
...
Inne lekcje zawierające informacje o "Teoria informacji":
01 Znaki drogowe - informacyjne - część 3 (plansza 4)
...
203 Okres międzywojenny na świecie. Postęp techniczny i kryzys gospodarczy (plansza 3)
...
204 Kryzys europejskiej myśli demokratycznej (plansza 14)
...
|