導語：信息論教學中數學內容物理化分析一文來源于網友上傳，不代表本站觀點，若需要原創(chuàng)文章可咨詢客服老師，歡迎參考。

香農在1948年《通信的數學理論》，奠定了現代信息論的基礎，迄今已經有70余年的歷史。在這70年中，通信技術經歷了空前規(guī)模的大發(fā)展。turbo碼將通信信道的容量逼近了香農理論的極限值，千兆光纖進入千家萬戶，5G網絡即將開始鋪設等等，這被稱為人類歷史上的第三次工業(yè)技術革命，即計算機與信息技術革命。伴隨著信息技術的極大發(fā)展，信息論作為信息技術的理論基礎，不僅對很多技術的發(fā)展起到了指路明燈的作用，其本身也取得了相當程度的發(fā)展。就在去年，華為的楊學志教授提出了新的衰落信道容量理論。又一次擴展了信息論的內容。作為現代通信行業(yè)的從業(yè)者，對信息論有一定程度的了解是必要的，也是重要的。信息論作為介紹香農信息論的基礎理論課程是通信，計算機相關專業(yè)學生的必修課。然而信息論富含數學內容，學生普遍反應學習起來相對困難，其中一個重要困難之處就在于各式各樣數學推導與證明的理解。學生在復雜的公式中繞來繞去，卻忽略了理論的基本物理意義。那么這些數學內容是否重要呢？在教學實踐中，我們曾經試圖忽略過這些數學證明和推導，然而缺乏了這些數學推導，學生反而更加不容易理解理論的物理意義，并且在學習中也覺得心里不踏實。通過這些經驗教訓，我們認為信息論的大部分數學內容需要進行教學，但是必須要講究方式方法，不能枯燥干癟的羅列公式，而要把數學公式背后的物理意義講清楚。因此數學問題物理化是我們對信息論教學的改革思路。我們將通過下面數個例子，來介紹我們的思路。

1.克勞夫特不等式

信息論中最重要的理論之一就是信源編碼理論，而無論定長，還是變長信源編碼定理都是從克勞夫特不等式推導得出的。(1)公式(1)即為克勞夫特不等式，其中m為編碼使用的進制，i為待編碼信息的編號，Ki為第i個信息使用的碼長。克勞夫特不等式成立，說明該碼長方案中存在即時碼，反之則不信息論教學中的數學內容的物理化南京郵電大學通信與信息工程學院趙陽趙生妹存在。那么克勞夫特不等式本身該如何理解呢？為什么這個不等式成立就存在即時碼了呢？學生在看到這個不等式時往往很難理解它與即時碼的關系。如果我們用大段的數學公式去證明這個問題，不僅學生接受起來較為困難，也沖淡了該不等式本身物理意義的教學。然而我們可以通過數學與物理的結合簡單的說明這個問題。我們知道即時碼等價于異前綴碼，與碼樹存在一一對應的關系。因此在我們的教學中，我們是這樣講解克勞夫特不等式的。對于一個2進制的碼樹，設其總的路徑數量為n。那么碼長為1的碼字，將占據掉碼樹中1/2的路徑，即n/2的路徑。碼長為Ki的碼字將占據掉的路徑。同理對于m進制的碼樹，碼長為Ki的碼字將占據掉的路徑。那么克勞夫特不等式的含義就非常清楚了，兩邊乘以n后，其左側求和就是該碼長方案所需要的路徑之和，而右邊就是該碼長方案下碼樹中最大路徑數量。滿足克勞夫特不等式說明，碼樹可以提供編碼需要的路徑，自然可以完成一個即時碼。反之，克勞夫特不等式不滿足，則碼樹中沒有足夠的路徑使用，自然不可能寫出即時碼。這一說明并不是嚴格的證明，我們在其中幾乎沒有用到任何數學工具，而是從基本概念出發(fā)，結合碼樹的物理形態(tài)，自然的得出了結論。它形象的說明了克勞夫特不等式與碼樹，即時碼之間的關系。在我們教學實踐中，這種偏向物理的教學方法得到了學生的普遍認同，有效的提高了學生對克勞夫特不等式，信源編碼定理的理解。

2.最大離散熵定理

信息論中另一個重要的結論是最大離散熵定理。它指出在一個離散信源中，當各信源信息的概率相等時，該信源具有最大的信源熵。同樣該定理的嚴格證明相當復雜。然而我們可以通過物理意義和數學說明兩個方面來幫助學生理解該定理。首先我們從物理意義上解釋該定理。信源熵是信源不確定度的體現，當一個信源概率分布不均勻時，我們對信源可能產生的信息就有一定判斷，概率較大的那些信息出現的可能性比較大。而當信源各信息概率相等時，我們對信源下一個產生的信息就沒有任何有價值的判斷，對應于不確定度最大。因此，此時信源具有最大的信源熵。至此，我們已經完成了物理上的分析。然而，如果我們就此打住，不再進行數學上的分析的話，學生的反饋是雖然基本理解了定理的含義，但是感覺很虛，不踏實。因此，一定程度的數學講解也是有必要的。我們知道信源熵是關于信源概率分布的上凸函數。那么必然有：(2)其中H是信源熵，是信源中的兩個概率，，因此有：(3)即我們把信源任意兩個信息的概率平均化后，所得的信源熵一定比原來大。那么我們只要對信源所有的概率進行兩兩平均化，最后一定能使得所有概率相等，此時的信源熵最大，這樣我們就非常簡單的得出了最大離散熵定理。在這一問題中，我們依然避開了復雜的嚴格證明，轉而通過內在的物理含義與簡單的數學討論，將最大離散熵定理講的十分清楚，獲得了相當積極的教學反饋。

3.討論

在以上兩個例子中，我們較為詳細的介紹了我們目前采用的教學思路，該思路舍棄了嚴格而復雜的數學推導，轉而尋求形象易懂的物理解釋，但又盡可能巧妙的進行了數學上的簡單分析。一方面使得學生的精力集中在理論中的物理內容，增加了學生對理論的直觀感受。另一方面也讓學生大致理解了這些理論的數學背景，提升了對理論的理解深度。4.結論與展望本文通過兩個重要的定理的講解，介紹了我們在信息論教學上物理數學相結合，數學內容物理化的教學改革思路。該思路以物理為核心，盡可能的避免冗長的數學推導，但又不放棄小巧的數學說明，引導學生對相對枯燥的香農信息論產生學習興趣，加深理解。并在教學實踐中取得了相對較好的教學效果，我們認為這種教學方式值得推廣。目前，在信息論課程中部分內容上，我們已經完成了相應的教學改革，然而仍有很大部分教學內容未能尋找到合適的方式進行講授，這也是我們進一步工作的目標。

作者:趙陽 趙生妹 單位:南京郵電大學通信與信息工程學院