改進(jìn)的遞推主元分析及遞推主元回歸算法
程龍，王桂增
(清華大學(xué)自動(dòng)化系，北京100084)
摘 要：為了加速模型在線更新的速度以更好地適應(yīng)實(shí)際工業(yè)過程的動(dòng)態(tài)變化，通過在已有遞推主元分析(PCA)算法的基礎(chǔ)上簡化了自相關(guān)矩陣的遞推公式，從而改進(jìn)了基于秩1更新的遞推PCA算法，把原來需要進(jìn)行2次秩1更新的步驟簡化為僅僅需要進(jìn)行一次秩1更新，并在此基礎(chǔ)上提出了遞推主元回歸算法。仿真結(jié)果表明，改進(jìn)后的基于秩1更新的遞推PCA算法比原來的基于秩l曼新的遞推PCA算法縮短了近一半的運(yùn)算時(shí)間，而新的遞推主元回歸算法，不但能夠適應(yīng)工業(yè)過程的動(dòng)態(tài)變化，并且比批處理的方式節(jié)約了存儲(chǔ)空間與計(jì)算時(shí)間。
關(guān)鍵詞：遞推主元分析；自相關(guān)陣；秩1更新；遞稚主元回歸
中圖分類號(hào)：TP 27 文獻(xiàn)標(biāo)識(shí)碼：A
Improved Recursive PCA a nd Recursive PCR Algorithms
CHENG Long，WANG Gui-zeng
(Department ofAutomation．Tsinghua University，Beringl00084，China)
Abstract．To accelerate the model 0n-line modificatlon a nd accommodate the industrial process change，an efficient recursive PCA al-gorithm using rank-one modification a nd a novel recursive PCR algorithm are proposed by improving the approach of updating correlationmatrix Simulation resuits show that the improved recursive PCA based on rank-one modification shotren the computational time in con-trast with the existing recursive PCA algorithm Moreover．the recursive PCR algorithm Call adapt process changes a nd need less corn-puting time a nd memm?usage than batch PCR algorithm
Key words：reellisive PCA；coneiation matrix；rank-one modification；recursive PCR
1引言
主元分析(PCA)是一種將多個(gè)相關(guān)變量轉(zhuǎn)化為少數(shù)幾個(gè)相互獨(dú)立變量的統(tǒng)計(jì)分析方法。
主元分析由Pearson[1]最早提出，后經(jīng)Hoteling[2]加以改進(jìn)。主元分析可以將很多相關(guān)過程變量壓縮為少數(shù)獨(dú)立的變量，因此被廣泛應(yīng)用于過程監(jiān)控[3]，故障診斷[4]等領(lǐng)域。
實(shí)際的工業(yè)過程通常表現(xiàn)出時(shí)變特性，用主元分析法建立的模型隨著時(shí)間的推移將出現(xiàn)明顯的偏差，為此，需及時(shí)對(duì)模型進(jìn)行更新，而如果采用將新數(shù)據(jù)和舊數(shù)據(jù)結(jié)合重新進(jìn)行主元分析，計(jì)算量很大。針對(duì)上述情況，Wold提出了指數(shù)加權(quán)平均主元分析的方法[5]，Rigopoulos等提出了滑動(dòng)窗結(jié)合主元分析的方法[6]，而Liw H等提出了遞推PCA算法[7]，對(duì)數(shù)據(jù)矩陣的均值、標(biāo)準(zhǔn)差進(jìn)行遞推更新，從而遞推求出規(guī)范化后的數(shù)據(jù)矩陣，進(jìn)而得出自相關(guān)陣的更新公式，最后利用秩1更新得出負(fù)荷向量和得分向量。
本文針對(duì)Li WH等提出的遞推PCA算法，簡化了自相關(guān)陣的遞推公式，改進(jìn)了基于秩1更新的遞推PCA算法，并給出了輸入輸出變量協(xié)方差矩陣的遞推公式，提出了一種新的主元回歸遞推算法(PCR)，仿真實(shí)驗(yàn)證明了方法的有效性。
2改進(jìn)的遞推PCA遞推算法
1)基于秩1更薪的遞推PCA算法定義全部k個(gè)原始輸入數(shù)據(jù)塊組成的矩陣為
其中，每一行代表一個(gè)樣本，每一列代表一個(gè)輸入變量。
全部(k+1)個(gè)原始數(shù)據(jù)塊組成的矩陣為Xok+1形式與Xok相同。若前K個(gè)數(shù)據(jù)塊長度為Mk，考慮每采樣一次進(jìn)行一次遞推，則包括新來數(shù)據(jù)的所有(k+1)個(gè)數(shù)據(jù)塊的長度為Nk+1=Nk+1。Weihua Li H指出[7]，每當(dāng)新數(shù)據(jù)x0k+1來時(shí)�？梢赃f推計(jì)算出原始輸入數(shù)據(jù)矩陣中各變量的均值、標(biāo)準(zhǔn)差和規(guī)范化后的輸人數(shù)據(jù)矩陣，進(jìn)而得出自相關(guān)陣的遞推公式。
均值向量的遞推式為
上述各遞推式中，  分別是遞推前后均值向量，且為行向量，每一元素為對(duì)應(yīng)輸入變量的均值；  i分別為遞推前后第i個(gè)變量的方差，  為新來數(shù)據(jù)向量  的第i個(gè)元素；R和  分別為遞推前后規(guī)范化后輸人數(shù)據(jù)陣的自相關(guān)矩陣；考慮規(guī)范化后的新來數(shù)據(jù)向量  后的輸入自變量的均值向量的增量為圖--- 式中,  為對(duì)角陣,對(duì)角線元素為di(i=1,2,...,m),ε為常數(shù). 可以證明[8],下面m次有理多項(xiàng)式的m個(gè)根對(duì)應(yīng)于更新過的自相關(guān)矩陣的m個(gè)特征值λi。
特征值λi所對(duì)應(yīng)的單位特征向量Pi可以通過下列計(jì)算：
Wemua Li H進(jìn)一步指出。[7]可以用上述秩1更新的方法，利用Rk已經(jīng)得出的特征值及特征向量信息結(jié)合自相關(guān)陣的遞推公式得出更新過的負(fù)荷向量與得分向量。
設(shè)前一次自相關(guān)矩陣特征分解的結(jié)果為Rk=PkAkPTK，其中，PK每一列為單位特征向量，AK是對(duì)角矩陣，對(duì)角線上的元素為特征值。由于RK為對(duì)稱矩陣，所以PK是正交矩陣。
把前一次自相關(guān)矩陣特征分解的結(jié)果代人自相關(guān)矩陣的遞推計(jì)算式中得到：
式中，Ak2為對(duì)角矩陣，對(duì)角線上的元素為修正過的特征值；Pk+1=PKPK1PK2，其單位化后的每一列即為更新過的協(xié)方差矩陣RK+1的特征向量(負(fù)荷向量)。
2)改進(jìn)的秩1更新遞推PcA算法由于：
式中,Pk+1=PkPk+1,其每一列為更新過的相關(guān)矩陣Pk+1的單位特征向量(負(fù)荷向量)。
與原來的秩l更新遞推PCA算法相比，改進(jìn)過的算法只需要進(jìn)行一次秩1更新就可以求出負(fù)荷向量，大大縮短了計(jì)算時(shí)間，且精度不變。
3主元回歸PCR的遞推算法
1)輸入輸出變量協(xié)方差陣的遞推計(jì)算 在PCR中，需要對(duì)輸出數(shù)據(jù)陣也進(jìn)行規(guī)范化處理。其中輸出數(shù)據(jù)陣的形式如下：
同樣考慮每來一個(gè)新數(shù)據(jù)就遞推一次的情況，仿照輸入數(shù)據(jù)矩陣各參數(shù)遞推式的推導(dǎo)，可得輸出變量的均值向量的遞推式為
式中,  為規(guī)范化后的新來數(shù)據(jù).仿照自相關(guān)矩陣的簡化遞推公式的推導(dǎo),協(xié)方差矩陣進(jìn)一步可簡化: 2)算法流程主元回歸(PCR)首先在自變量
空間進(jìn)行主成分分析(PCA)，即將高維相關(guān)的原始變量投影到低維正交的特征變量空間上，再建立特征變量同輸出間的回歸關(guān)系。
設(shè)輸入輸出關(guān)系為
式中，a為取前α個(gè)主元；β為主元回歸模型的的回歸系數(shù)向量。
因此不用重新計(jì)算規(guī)范化后的輸入輸出變量的數(shù)據(jù)矩陣，而僅僅遞推計(jì)算自變量的自相關(guān)陣和自變量因變量的協(xié)方差陣就能更新PCR的回歸系數(shù)。
注意，這里的b^PCR是將主元回歸模型轉(zhuǎn)換為以原始變量作為輸入變量時(shí)所得到的偏最小二乘回歸模型的系數(shù)向量，而不是一般意義上的以原始變量作為輸入變量時(shí)的最小二乘回歸模型的系數(shù)向量。
遞推PCR的算法流程如下：
①每來一組新數(shù)據(jù)，遞推計(jì)算輸人輸出變量數(shù)據(jù)矩陣的均值，標(biāo)準(zhǔn)差，進(jìn)而計(jì)算自相關(guān)陣R和協(xié)方差陣Rxy。
②由R的遞推式采用秩1更新遞推計(jì)算負(fù)荷向量。
③取前α個(gè)負(fù)荷向量組成負(fù)荷向量陣Pα，Pα的每一列對(duì)應(yīng)一個(gè)負(fù)荷向量，把R，R，Pα代人式(28)中，更新PCR模型。
④對(duì)此后到來的新樣本(輸人數(shù)據(jù))，采用新的PCR模型對(duì)輸出進(jìn)行預(yù)報(bào)。
在上述遞推PCR算法中，僅需要存儲(chǔ)前一次遞推計(jì)算的均值向量、標(biāo)準(zhǔn)差、自相關(guān)陣、協(xié)方差陣，不用存儲(chǔ)原始輸入輸出數(shù)據(jù)陣，而均值向量、標(biāo)準(zhǔn)差、自相關(guān)陣、協(xié)方差陣的維數(shù)只與變量個(gè)數(shù)有關(guān)，因此大大減少了存儲(chǔ)空間。隨著數(shù)據(jù)的不斷增加，如果采用批處理，存儲(chǔ)空間將不斷增大，而采用遞推算法，存儲(chǔ)空間沒有變化。
4 PCR仿真結(jié)果與分析
下面以聚酯生產(chǎn)中終縮聚特性黏度的軟測(cè)量建模為例，利用遞推PCA算法提取得分向量與負(fù)荷向量，再建立起對(duì)應(yīng)的主元回歸模型(PCR)，對(duì)聚酯特性黏度值進(jìn)行估計(jì)。
特性黏度是聚酯切片最重要的質(zhì)量指標(biāo)，是表征分子量的參數(shù)。由于聚合物分子量與其物理機(jī)械性能有密切關(guān)系，加工后要求分子量控制在一定范圍內(nèi)，且生產(chǎn)中要求分子量基本不變化。而特性黏度是無法直接測(cè)量的參數(shù)，且與諸多因素有關(guān)，如最終縮聚釜和離開最終縮聚釜的熔體特性黏度、反應(yīng)溫度、反應(yīng)壓力、攪拌器轉(zhuǎn)速、反應(yīng)物料在釜內(nèi)的停留時(shí)間、催化劑濃度等。
1)數(shù)據(jù)選擇選取在連續(xù)時(shí)間段實(shí)際測(cè)量的700組數(shù)據(jù)進(jìn)行仿真實(shí)驗(yàn)。其中，選取10個(gè)與特性黏度相關(guān)的變量作為輸入，而特性黏度的分析值作為輸出。
把700組數(shù)據(jù)分為3組，前300組數(shù)據(jù)作為初始建模數(shù)據(jù)，中間300組數(shù)據(jù)作為更新數(shù)據(jù)，最后100組數(shù)據(jù)作為測(cè)試數(shù)據(jù)。
特性黏度分析值趨勢(shì)圖，如圖1所示。
由圖可見，前300組數(shù)據(jù)，特性黏度分析值變化比較大(而實(shí)際輸入自變量變化比較緩慢)，從第300組開始，特性黏度分析值變化較為緩慢。從理論上，僅僅用前300組數(shù)據(jù)建立起的模型預(yù)測(cè)最后100組分析值是不夠準(zhǔn)確的，必須采用遞推算法更新模型。
2)遞推算法的運(yùn)行時(shí)間比較在遞推算法中，首先提取前300組數(shù)據(jù)的主元建立PCR模型，然后按照前面提到的遞推PCR方法流程，用中間300組數(shù)據(jù)進(jìn)行PCR模型的遞推計(jì)算所得到的更新模型對(duì)后。100組數(shù)據(jù)進(jìn)行輸出估計(jì)，并與取前600組數(shù)據(jù)用PCR批處理方法所得的模型進(jìn)行輸出估計(jì)的時(shí)間進(jìn)行比較，結(jié)果見表1。
由表1可知，利用遞推公式更新參數(shù)較之批處理方法重新在整個(gè)數(shù)據(jù)集上計(jì)算模型參數(shù)的計(jì)算時(shí)間縮短近2／3。
求解負(fù)荷向量的計(jì)算時(shí)間，見表2。
由表2可以看出，改進(jìn)過的基于秩l更新的遞推PCA算法與原來的基于秩1更新的遞推PCA算法相比減少一次秩l修正的步驟，計(jì)算時(shí)間縮短了約一半。
3)遞推PCR算法的結(jié)果精度比較遞推PCR算法相對(duì)于傳統(tǒng)PCR算法的一個(gè)重要優(yōu)點(diǎn)就是可以實(shí)時(shí)更新模型參數(shù)，從而使模型更好地適應(yīng)工況的變化，使估計(jì)結(jié)果更準(zhǔn)確。
2種模型對(duì)測(cè)試集(100組數(shù)據(jù))進(jìn)行估計(jì)的模型殘差平方和的比較，見表3。
表3中的非遞推PCR算法僅用前300組數(shù)據(jù)進(jìn)行建模，而改進(jìn)后基于秩l更新的遞推算法在前300組數(shù)據(jù)模型的基礎(chǔ)上用中間的：300組數(shù)據(jù)進(jìn)行遞推計(jì)算，而這300組數(shù)據(jù)在實(shí)際測(cè)量時(shí)相當(dāng)于新來數(shù)據(jù)，也就是說，對(duì)原來在300組數(shù)據(jù)基礎(chǔ)上建立起來的模型進(jìn)行了更新，其實(shí)在實(shí)際生產(chǎn)中，只要來了一組新數(shù)據(jù)，就可以馬上對(duì)模型施行更新，進(jìn)而用更新過的模型進(jìn)行預(yù)測(cè)。
由表3可以知，遞推算法所得模型的估計(jì)性能優(yōu)于非遞推算法時(shí)的模型性能。
5結(jié)語
本文在已有的遞推PCA算法的基礎(chǔ)上，簡化了自相關(guān)陣的更薪公式，改進(jìn)了基于秩1更新的遞推PCA算法，并提出了一種新的遞推PCR算法。
仿真實(shí)驗(yàn)表明，遞推算法所建建模比不采用遞推算法所得模型跟蹤效果要好。改進(jìn)后的基于秩l更新的遞推PCA算法不但在保持了原基于秩1更新的遞推算法的精度，而且縮短了計(jì)算時(shí)間。在此基礎(chǔ)上得到的遞推主元分析算法，不僅能夠適應(yīng)過程的動(dòng)態(tài)變化，且比批處理的方式節(jié)約了存儲(chǔ)空間與計(jì)算時(shí)間。
|
