《信息论与编码》课程自学报告
题目:《信息论与编码》自学报告
学号:
姓名:
任课教师:黄素娟
联系方式:187********
二零17年1月10日
第一部分阐述“第四章信息率失真函数”主要内容1、基本概念
1.1失真函数与平均失真度
平均失真度
在离散情况下,信源X ={a1,a2,…ar} ,其概率分布p(x)=[p(a1),p(a2),…,p(ar)] ,信宿Y = {b1,b2,…bs} 。若已知试验信道的传递概率为p(bj/ai)时,则平均失真度为:
11()(,)()(/)(,)
r s
i j i i j XY i j D p ab d a b p a p b a d a b ===
=∑∑∑
凡满足保真度准则---平均失真度D ≤ D0的试验信通称D 失真许可的试验信道。
失真函数
假如某一信源X ,输出样值为xi ,xi ∈{a1,…an},经过有失真的信源编码器,输出Y ,样值为yj ,yj ∈{b1,…bm}。如果xi =yj ,则认为没有失真;如果xi ≠ yj ,那么就产生了失真。失真的大小,用一个量来表示,即失真函数d(xi ,yj),以衡量用yj 代替xi 所引起的失真程度。一般失真函数定义为
最常用的失真函数
前三种失真函数适用于连续信源,后一种适用于离散信源。
1.2信息率失真函数的定义
互信息取决于信源分布和信道转移概率分布。当p(xi)一定时,互信息I 是关于p(yj/xi) 的U 型凸函数,存在极小值。在上述允许信道PD 中,可以寻找一种信道pij ,使给定的信源p(xi)经过此信道传输后,互信息I(X ;Y)达到最小。该最小的互信息就称为信息率失真函数R(D),即
单位:bit/信源符号
对于离散无记忆信源,R(D)函数可写成
p(ai),i =1,2,…,n 是信源符号概率分布;
p(bj/ai),i =1,2,…,n ,j =1,2,…,m 是转移概率分布;
p(bj),j =1,2,…,m 是接收端收到符号概率分布。
信息率失真函数给出了熵压缩编码可能达到的最小熵率与失真的关系
1.3信息率失真函数的性质
1、R(D)函数的定义域和值域
R(D)的定义域为
{}min ()min (,)y x D p x d x y = ∑max min ()(,)y x D p x d x y ?
?
= ??
??∑
允许失真度D 的下限可以是零,这是不允许任何失真的情况。
2、R(D)是关于平均失真度D 的下凸函数
设为任意两个平均失真,01a ≤≤,则有: 1212[(1)]()(1)()R aD a D aR D a R D +-≤+-
3、R(D) 是min max (,)D D 区间上的连续和严格单调递减函数。 )0()(R U H =连续
离散
0D ()R D 0D
()
R D max D min D max ()
R D
离散信源的信息率失真函数
2.1离散信源信息率失真函数的参量表达式
(1)
(/)0j i p b a ≥(2)1(/)1,(1,...,)m j i j p b a i n ==-∑(3)11
()(/)(,)n m
i j i i j i j p a p b a d a b D
===∑∑(4)1(;)(/)(5)
m
i j i j I X Y p b a sD μ=Φ=--∑
()()()(,)exp[(,)](4.3.16)
i j i i j i j i j D s p a p b d a b sd a b λ=∑∑
1()()()log (4.3.17)
n
i i i R s sD s p a λ==+∑
2.2二元及等概率离散信源的信息率失真函数
设二元信源
[]{}
{}1,0输出符号集1,0输入符号集0
00失真矩阵为2
1
1,所以21
,其中1)(212121==∈==∈>???
???=≥-≤???
???-=??????y y Y x x X D p p p p x x x p X i ααα
计算率失真函数R (D )
min max 0D D D ≤≤≤111(/)
(,)()(/)log ()(/)
n m j i i j i r
i j i j i i p b a I X Y p a p b a p a p b a ====∑∑∑(
对于这种简单信源,可从D (S )解出S 与D 的显式表达式。
()()()()()()()()()()()()??????
???
?
???-----=---=---=---=?
????
?????
?---=
-
-=
????
???
??
--=
-=-
=
-
=
+=
αααα
ααααα
αα
αα
α
αααααααλαλα
α
α
α
αD D D D D D D D D D S S S p p x y p p p D x y p p p D x y p p p x y p D
D p y p D D
p y p p
D p D
D
D S D D e e e S D 2122
122212
112
1211
1111)/(11)/(11)/(11)/(21)1()(21)(1111ln
11)(
p
p
S p D D D R D D p H R D D H p H D p p p p D D D D D R -=
======?
??
?
??-=???
?
??-+----???? ??--=
1ln
1,0
)(,)()0(,0压缩的信息率。
定失真而可能熵,第二项是因容忍一上式右边第一项是信源)(1ln )1ln()1(ln 1ln ln )(max max max max α
ααααααα
二元等概率离散信源的率失真函数
当上述二元信源呈等概率分布时,上面式子分别退化为
???
?
????
?===--=?
????
??
???
?=-
=--
=-=-=
=
==)(21)(2
1
2121)()1(221
11)1(22112
1
min 1211212max y p y p D D
y p D
D D D
D D D j ααλααλααλα
()()()()()()()()()()()())
(2ln )()/(1111)/()
/(11)/(11)/(11)/(1122121122
122
1
211222
12
121221
11α
ααααααααααααααααααD
H D R x y p D x y p x y p D D x y p D D x y p D
p x y p D D
D D D
D D
D D D -=??????
??
??
???-=-----===---==---=-=---=
3保真度准则下的信源编码定理
定理4.1 (保真度准则下的信源编码定理,香农第三定理)