0,50
FUNÇÃO DE ENTROPIA BINÁRIA H(p)a curva mais famosa de 1948
H(p) = -p·log₂p - (1-p)·log₂(1-p)
seu p
HISTOGRAMA DO TEXTOletras a-z + espaço
frequência pi
contribuição -pi·log₂pi
ESCADA DA ENTROPIAcontexto derruba a incerteza
FUNDAMENTOS
H(X) = -Σ pi·log₂(pi) [bits/símbolo]
Entropia é a surpresa média da fonte: máxima quando tudo é equiprovável (log₂M), zero quando o resultado é certo. Nenhum código sem perdas comprime abaixo de H.
Redundância = 1 - H / log₂(M)
O português escrito carrega ~4 bits/letra no nível de frequências isoladas, contra log₂27 ≈ 4,75. Considerando contexto (pares, palavras), Shannon estimou ~1 bit/letra: a língua é quase toda redundância, e é isso que deixa a leitura robusta a erros.
17
17
17
17
16
16
FUNDAMENTOS
H ≤ L̄ < H + 1 | Kraft: Σ 2-li ≤ 1
Huffman junta sempre os dois menos prováveis: símbolo raro ganha código longo, frequente ganha curto. É ótimo entre os códigos símbolo a símbolo e livre de prefixo (decodifica sem separador).
Quando as probabilidades são potências de 1/2 (diádicas), L̄ = H exatamente. Fora disso sobra folga de até 1 bit; codificação aritmética e por blocos espremem o resto.
ÁRVORE DE HUFFMAN0 à esquerda, 1 à direita
nó interno (soma)
folha (símbolo)
FLUXO DE BITSlivre de prefixo: decodifica sem separador
digite uma palavra no painel CODIFICADOR AO VIVO.
0,10
0,50
FUNDAMENTOS
I(X;Y) = H(Y) - H(Y|X) = H(X) - H(X|Y)
Informação mútua: quanto observar Y reduz a incerteza sobre X. H(X|Y) é a equivocação: o que o ruído esconde para sempre.
CBSC = 1 - Hb(p) | CBEC = 1 - ε
Capacidade é o máximo de I sobre as entradas: nos dois canais, entrada equiprovável (π = 0,5). Em p = 0,5 o BSC vira moeda: saída independe da entrada e C = 0.
DIAGRAMA DE TRANSIÇÃOprobabilidades ao vivo
DIAGRAMA DE INFORMAÇÃOo que passa e o que se perde
I(X;Y) vs ENTRADA πo pico é a capacidade
CAPACIDADE vs RUÍDOC(p)
1,0 MHz
20,0 dB
80%
FUNDAMENTOS
C = B·log₂(1 + SNR) [bits/s]
Shannon-Hartley: abaixo de C existe código com erro tão pequeno quanto se queira; acima, nenhum código salva. A fronteira é dura.
Eb/N₀ ≥ (2η - 1)/η → ln 2 = -1,59 dB quando η → 0
Com banda infinita a capacidade NÃO vai a infinito: satura em 1,44·P/N₀. E nenhum sistema, por mais banda que gaste, opera abaixo de -1,59 dB de Eb/N₀: o limite de Shannon.
PLANO EFICIÊNCIA × Eb/N₀a fronteira de Shannon
fronteira C
região proibida / limite -1,59 dB
seu sistema
pontos típicos (BER 10⁻⁵)
C vs BANDAP/N₀ fixo: banda infinita não é C infinita
0,079
FUNDAMENTOS
Rep. n: erro se maioria falha | Hamming(7,4): corrige 1 erro/bloco
Repetir derruba a BER, mas queima taxa (1/n). Hamming gasta só 3 bits de paridade a cada 4 de dados e corrige qualquer erro simples: o começo da mágica dos códigos.
Shannon promete mais: abaixo da capacidade, existe código com BER arbitrariamente baixa SEM taxa indo a zero. LDPC e Turbo (anos 90) finalmente entregaram, chegando a décimos de dB do limite.
BER DE SAÍDA vs BER DO CANALexato: enumeração de padrões
sem código
repetição 3x
repetição 5x
Hamming(7,4)
seu p
RAJADA NO CANALMonte Carlo de verdade
aperte TRANSMITIR para ver os bits atravessando o canal com o p atual.