求此方程的最大值:
同時(shí)未知數(shù)滿足
因?yàn)橹挥幸粋€(gè)未知數(shù)的限制條件,我們只需要用一個(gè)乘數(shù).
將所有方程的偏微分設(shè)為零,得到一個(gè)方程組,最大值是以下方程組的解中的一個(gè):
求此離散分布的最大熵:
所有概率的總和是1,因此我們得到的約束是g(p)= 1即
可以使用拉格朗日乘數(shù)找到最高熵(概率的函數(shù))。對(duì)于所有的k 從1到n,要求
由此得到
計(jì)算出這n個(gè)等式的微分,我們得到:
這說(shuō)明pi都相等 (因?yàn)樗鼈兌贾皇?#955;的函數(shù)). 解出約束∑k pk = 1,得到
因此,使用均勻分布可得到最大熵的值。