Startuj z nami!

www.szkolnictwo.pl

praca, nauka, rozrywka....

mapa polskich szkół
Nauka Nauka
Uczelnie Uczelnie
Mój profil / Znajomi Mój profil/Znajomi
Poczta Poczta/Dokumenty
Przewodnik Przewodnik
Nauka Konkurs
uczelnie

zamów reklamę
zobacz szczegóły
uczelnie

Teoria informacji

Teoria informacji

Teoria informacji – dział matematyki na pograniczu statystyki i informatyki , mający również olbrzymie znaczenie w współczesnej telekomunikacji , dotyczący przetwarzania informacji oraz jej transmisji , kompresji , kryptografii itd.

Spis treści

Historia i charakterystyka teorii informacji

Za ojca teorii informacji uważa się Claude'a E. Shannona , który prawdopodobnie po raz pierwszy użył tego terminu w 1945 roku, w swojej pracy zatytułowanej "A Mathematical Theory of Cryptography". Natomiast w 1948 roku, w kolejnej pracy pt. "A Mathematical Theory of Communication" przedstawił najważniejsze zagadnienia związane z tą dziedziną nauki. Shannon stworzył podstawy ilościowej teorii informacji, dlatego późniejsi autorzy próbowali stworzyć teorie wyjaśniające wartość (cenność) informacji. W Polsce Marian Mazur stworzył oryginalną teorię opisującą zarówno ilość jak i jakość informacji. Opisał ją m.in. w wydanej w 1970 roku książce Jakościowa teoria informacji. Wprowadził w niej rozróżnienie między informacjami opisującymi a informacjami identyfikującymi i wykazał, że tylko liczba informacji identyfikujących jest tym samym co ilość informacji wyrażona wzorem Claude E. Shannona – wbrew panującemu dotychczas przeświadczeniu, że odnosi się on do wszelkich informacji.

Ważne pojęcia teorii informacji:

Zobacz wyższe jednostki informacji .

  • entropia : najmniejsza średnia ilość informacji potrzebna do zakodowania faktu zajścia zdarzenia ze zbioru zdarzeń o danych prawdopodobieństwach .

Wzór na entropię to:

H(x)=-\sum_{i=1}^np(i)\log_2 p(i)\,\!

gdzie p(i) to prawdopodobieństwo zajścia zdarzenia i.

Pojęcie entropii w termodynamice jest do pewnego stopnia związane z pojęciem entropii w teorii informacji .

Model statystyczny rzędu N

Jest to model rozkładu prawdopodobieństwa, w którym pod uwagę bierze się N poprzednich znaków:

  • model rzędu 0 oznacza, że nie bierze się pod uwagę poprzednich znaków
  • model rzędu 1 oznacza, że bierze się pod uwagę jeden poprzedni znak
  • model rzędu 2 oznacza, że bierze się pod uwagę dwa poprzednie znaki
  • model nieskończonego rzędu oznacza, że bierze się pod uwagę wszystkie poprzednie znaki.

Literatura

  • Thomas M. Cover, Joy A. Thomas, Elements of Information Theory. Wiley Series in Telecommunications, 1991.
  • Gareth A. Jones, Mary J. Jones, Information and Coding Theory. Springer, 2000.
  • David J.C. MacKay, Information Theory, Inference, and Learning Algorithms. Cambridge University Press, 2003.
  • Ming Li, Paul Vitanyi, An Introduction to Kolmogorov Complexity and Its Applications. Springer, 1997.
  • Marian Mazur, Jakościowa teoria informacji . WNT, Warszawa 1970, ss. 223.

Zobacz też

Linki zewnętrzne


Inne hasła zawierające informacje o "Teoria informacji":

Mieszko II Lambert ...

Nadciśnienie tętnicze ...

Brno ...

Wiktor Sukiennicki ...

Replikacja ...

Andrius Kupčinskas ...

Okręg kowieński ...

Akcja (prawo) ...

Oddziaływanie elektromagnetyczne ...

Katedra Limnologii Uniwersytetu Gdańskiego ...


Inne lekcje zawierające informacje o "Teoria informacji":

01 Znaki drogowe - informacyjne - część 3 (plansza 4) ...

203 Okres międzywojenny na świecie. Postęp techniczny i kryzys gospodarczy (plansza 3) ...

204 Kryzys europejskiej myśli demokratycznej (plansza 14) ...





Zachodniopomorskie Pomorskie Warmińsko-Mazurskie Podlaskie Mazowieckie Lubelskie Kujawsko-Pomorskie Wielkopolskie Lubuskie Łódzkie Świętokrzyskie Podkarpackie Małopolskie Śląskie Opolskie Dolnośląskie