青青草原综合久久大伊人导航_色综合久久天天综合_日日噜噜夜夜狠狠久久丁香五月_热久久这里只有精品

The Fourth Dimension Space

枯葉北風寒,忽然年以殘,念往昔,語默心酸。二十光陰無一物,韶光賤,寐難安; 不畏形影單,道途阻且慢,哪曲折,如渡飛湍。斬浪劈波酬壯志,同把酒,共言歡! -如夢令

Levenberg-Marquardt 算法快速入門教程(轉載)

什么是最優化,可分為幾大類?
答:Levenberg-Marquardt算法是最優化算法中的一種。最優化是尋找使得函數值最小的參數向量。它的應用領域非常廣泛,如:經濟學、管理優化、網絡分析、最優設計、機械或電子設計等等。
根據求導數的方法,可分為2大類。第一類,若f具有解析函數形式,知道x后求導數速度快。第二類,使用數值差分來求導數。
根據 使用模型不同,分為非約束最優化、約束最優化、最小二乘最優化。

什么是Levenberg-Marquardt算法?
它是使用最廣泛的非線性最小二乘算法,中文為列文伯格-馬夸爾特法。它是利用梯度求最大(小)值的算法,形象的說,屬于爬山法的一種。它同時具有梯度 法和牛頓法的優點。當λ很小時,步長等于牛頓法步長,當λ很大時,步長約等于梯度下降法的步長。在作者的科研項目中曾經使用過多次。圖1顯示了算法從起 點,根據函數梯度信息,不斷爬升直到最高點(最大值)的迭代過程。共進行了12步。(備注:圖1中綠色線條為迭代過程)。

Levenberg-Marquardt教程


1 LM算法迭代過程形象描述

1中,算法從山腳開始不斷迭代。可以看到,它的尋優速度是比較快的,在山腰部分直接利用梯度大幅度提升(參見后文例子程序中lamda較小時),快到山頂時經過幾次嘗試(lamda較大時),最后達到頂峰(最大值點),算法終止。

 

如何快速學習LM算法?

學 習該算法的主要困難是入門難。 要么國內中文教材太艱澀難懂,要么太抽象例子太少。目前,我看到的最好的英文入門教程是K. Madsen等人的《Methods for non-linear least squares problems》本來想把原文翻譯一下,貼到這里。請讓我偷個懶吧。能找到這里的讀者,應該都是E文好手,我翻譯得不清不楚,反而事倍功半了。

可在 下面的鏈接中找到
http://www2.imm.dtu.dk/pubdb/public/publications.php? year=&pubtype=7&pubsubtype=&section=1&cmd=full_view&lastndays=&order=author
或者直接下載pdf原文:
http://www2.imm.dtu.dk/pubdb/views/edoc_download.php/3215/pdf/imm3215.pdf


例子程序(MATLAB源程序)
本程序不到100行,實現了 求雅克比矩陣的解析解,Levenberg-Marquardt最優化迭代,演示了如何求解擬合問題。采用《數學試驗》(第二版)中p1902來演示。在MATLAB中可直接運行得到最優解。

% 計算函數f的雅克比矩陣,是解析式

syms a b y x real;

f=a*exp(-b*x);

Jsym=jacobian(f,[a b])

 

 

% 擬合用數據。參見《數學試驗》,p190,例2

data_1=[0.25 0.5 1 1.5 2 3 4 6 8];

obs_1=[19.21 18.15 15.36 14.10 12.89 9.32 7.45 5.24 3.01];

 

% 2. LM算法

% 初始猜測s

a0=10; b0=0.5;

y_init = a0*exp(-b0*data_1);

% 數據個數

Ndata=length(obs_1);

% 參數維數

Nparams=2;

% 迭代最大次數

n_iters=50;

% LM算法的阻尼系數初值

lamda=0.01;

 

% step1: 變量賦值

updateJ=1;

a_est=a0;

b_est=b0;

 

% step2: 迭代

for it=1:n_iters

    if updateJ==1

        % 根據當前估計值,計算雅克比矩陣

        J=zeros(Ndata,Nparams);

        for i=1:length(data_1)

            J(i,:)=[exp(-b_est*data_1(i)) -a_est*data_1(i)*exp(-b_est*data_1(i))];

        end

        % 根據當前參數,得到函數值

        y_est = a_est*exp(-b_est*data_1);

        % 計算誤差

        d=obs_1-y_est;

        % 計算(擬)海塞矩陣

        H=J'*J;

        % 若是第一次迭代,計算誤差

        if it==1

            e=dot(d,d);

        end

    end

 

    % 根據阻尼系數lamda混合得到H矩陣

    H_lm=H+(lamda*eye(Nparams,Nparams));

    % 計算步長dp,并根據步長計算新的可能的\參數估計值

    dp=inv(H_lm)*(J'*d(:));

    g = J'*d(:);

    a_lm=a_est+dp(1);

    b_lm=b_est+dp(2);

    % 計算新的可能估計值對應的y和計算殘差e

    y_est_lm = a_lm*exp(-b_lm*data_1);

    d_lm=obs_1-y_est_lm;

    e_lm=dot(d_lm,d_lm);

    % 根據誤差,決定如何更新參數和阻尼系數

    if e_lm<e

        lamda=lamda/10;

        a_est=a_lm;

        b_est=b_lm;

        e=e_lm;

        disp(e);

        updateJ=1;

    else

        updateJ=0;

        lamda=lamda*10;

    end

end

%顯示優化的結果

a_est

b_est

本程序對應的C++實現,待整理后于近期公開。

轉自:http://www.shenlejun.cn/my/article/show.asp?id=17&page=1

posted on 2010-12-10 14:58 abilitytao 閱讀(39274) 評論(5)  編輯 收藏 引用

評論

# re: Levenberg-Marquardt 算法快速入門教程(轉載) 2012-02-02 18:29 錢德豪

程序對應的C++實現版本,何時可以上版???
我是初學者,希望可以參考
謝謝!!  回復  更多評論   

# re: Levenberg-Marquardt 算法快速入門教程(轉載) 2012-04-05 16:22 tttt

贊,寫的很好  回復  更多評論   

# re: Levenberg-Marquardt 算法快速入門教程(轉載) 2012-10-25 10:46 魂云

lz是好人,寫得很好,推薦的教材也很好~  回復  更多評論   

# re: Levenberg-Marquardt 算法快速入門教程(轉載) 2012-10-30 10:44 help

您好,有個反分析問題想用Levenberg-Marquardt 算法,想具體請教您,請問您能把您的qq號告訴我嗎?我的QQ號是429169375  回復  更多評論   

# re: Levenberg-Marquardt 算法快速入門教程(轉載)[未登錄] 2013-03-22 19:28 雷雷

麻煩請問,這個程序的c語言代碼有嗎?我這里急求!!  回復  更多評論   

青青草原综合久久大伊人导航_色综合久久天天综合_日日噜噜夜夜狠狠久久丁香五月_热久久这里只有精品
  • <ins id="pjuwb"></ins>
    <blockquote id="pjuwb"><pre id="pjuwb"></pre></blockquote>
    <noscript id="pjuwb"></noscript>
          <sup id="pjuwb"><pre id="pjuwb"></pre></sup>
            <dd id="pjuwb"></dd>
            <abbr id="pjuwb"></abbr>
            久久国产一区二区| 99国产欧美久久久精品| 欧美主播一区二区三区美女 久久精品人 | 国产精品日韩欧美一区二区| 在线一区二区三区做爰视频网站 | 亚洲精选成人| 国产精品久久久久影院色老大| 欧美一级久久久久久久大片| 欧美亚洲一区二区在线| 在线观看精品视频| 亚洲美女少妇无套啪啪呻吟| 国产精品扒开腿做爽爽爽软件| 香蕉久久夜色精品| 久久久久久久久岛国免费| 亚洲欧洲一区二区天堂久久 | 久久久久www| 蘑菇福利视频一区播放| 亚洲一区二区动漫| 欧美中在线观看| 亚洲精品免费在线播放| 亚洲一区免费观看| 亚洲黄色视屏| 午夜国产一区| 亚洲精品日韩精品| 亚洲欧洲av一区二区三区久久| 亚洲电影视频在线| 亚洲在线中文字幕| 亚洲青色在线| 欧美一区二区三区四区视频| 日韩一区二区高清| 久久精品视频导航| 亚洲欧美日本国产有色| 久久久久网址| 欧美亚洲视频一区二区| 欧美伦理视频网站| 模特精品在线| 国产一区二区三区高清| 日韩一本二本av| 亚洲第一免费播放区| 亚洲自拍16p| 在线视频你懂得一区| 狂野欧美激情性xxxx欧美| 午夜精品亚洲一区二区三区嫩草| 欧美18av| 免费观看一级特黄欧美大片| 国产精品自在在线| 一本久久知道综合久久| 亚洲精品久久久久久久久久久久久| 西西人体一区二区| 午夜精品一区二区三区电影天堂 | 久久久综合香蕉尹人综合网| 欧美一区二区女人| 国产精品麻豆成人av电影艾秋| 91久久久在线| 亚洲国产精品久久精品怡红院| 欧美在线视频a| 久久高清国产| 国产真实久久| 久久国内精品视频| 久久一综合视频| 国产一区久久| 久久九九免费视频| 久久综合一区二区| 韩国成人理伦片免费播放| 久久xxxx| 欧美成人国产一区二区| 亚洲黄一区二区| 欧美成年人网| 99国产精品国产精品久久| 一区二区三区日韩在线观看| 欧美精品久久一区二区| 亚洲精选视频在线| 亚洲一二区在线| 国产精品国产a级| 亚洲欧美不卡| 久久视频一区| 亚洲人成网站999久久久综合| 欧美成人首页| 一区二区高清| 一区免费视频| 欧美国产另类| 亚洲天堂av图片| 久久九九国产| 亚洲破处大片| 国产精品美女久久久久久久| 欧美一区二区日韩| 欧美大片网址| 亚洲影院色无极综合| 国产性猛交xxxx免费看久久| 久久综合色婷婷| 亚洲最新色图| 久久久亚洲国产天美传媒修理工| 亚洲国产欧美另类丝袜| 欧美日韩亚洲高清| 欧美一级二级三级蜜桃| 亚洲福利免费| 久久se精品一区精品二区| 亚洲第一中文字幕| 国产精品伦理| 欧美成人免费播放| 小黄鸭视频精品导航| 欧美激情视频一区二区三区免费 | 亚洲国产一区视频| 亚洲欧美在线x视频| 亚洲国产欧美国产综合一区| 欧美午夜大胆人体| 蜜乳av另类精品一区二区| 亚洲一二三区在线观看| 欧美国产日韩xxxxx| 久久aⅴ国产紧身牛仔裤| 亚洲免费激情| 精品999久久久| 国产精品网站视频| 欧美日韩精品一区| 久久人人精品| 欧美在线91| 在线亚洲美日韩| 亚洲激情影视| 久久这里只有| 久久成年人视频| 亚洲欧美日韩国产| 99国产精品99久久久久久| 精品不卡一区二区三区| 国产欧美日韩亚州综合| 欧美视频精品一区| 欧美激情亚洲激情| 免费成人激情视频| 久久久精品动漫| 欧美一区午夜视频在线观看| 一区二区三区回区在观看免费视频| 亚洲国产成人高清精品| 欧美凹凸一区二区三区视频| 久久国产免费看| 欧美在线观看视频| 欧美资源在线观看| 久久黄色小说| 久久精品一区二区三区中文字幕| 校园春色国产精品| 欧美在线视频在线播放完整版免费观看 | 国产精品护士白丝一区av| 欧美精品日韩三级| 欧美丰满少妇xxxbbb| 欧美大片91| 欧美丰满高潮xxxx喷水动漫| 欧美国产先锋| 欧美日韩天堂| 国产女主播一区| 国内欧美视频一区二区| 麻豆久久久9性大片| 亚洲图片欧美日产| 亚洲一区二区视频在线观看| 亚洲在线一区| 欧美专区在线观看一区| 久久精品国产综合| 美国十次成人| 亚洲激情在线激情| 一本大道久久a久久精二百| 亚洲图片欧美一区| 欧美一区二区三区在线视频 | 一二三区精品| 亚洲欧美日韩综合| 久久色在线观看| 欧美精品一区二区久久婷婷| 欧美日韩一区高清| 国产一区二区三区av电影| 在线欧美三区| 亚洲一区二区三区久久| 欧美与欧洲交xxxx免费观看| 老鸭窝毛片一区二区三区| 亚洲片在线观看| 亚洲免费在线播放| 蜜桃av噜噜一区| 国产精品少妇自拍| 亚洲国产专区校园欧美| 亚洲自拍电影| 欧美激情黄色片| 亚洲少妇诱惑| 免费黄网站欧美| 国产精品尤物福利片在线观看| 亚洲高清不卡在线| 性亚洲最疯狂xxxx高清| 亚洲国产精品悠悠久久琪琪| 亚洲午夜久久久| 欧美成人中文字幕| 国产在线欧美日韩| 亚洲午夜一区二区三区| 免费在线一区二区| 午夜精品久久久久久久久| 欧美激情精品久久久久久蜜臀| 国产网站欧美日韩免费精品在线观看| 亚洲经典三级| 每日更新成人在线视频| 亚洲少妇一区| 欧美激情中文字幕一区二区 | 国产精品扒开腿爽爽爽视频| 亚洲激情欧美激情| 久久人人97超碰国产公开结果 | 欧美一区二区在线观看| 欧美激情视频一区二区三区在线播放| 国产综合亚洲精品一区二|