問(wèn)題描述（故障現(xiàn)象）

多端中興S385設(shè)備和中興S330設(shè)備混合組網(wǎng)，中興ZXMP S385設(shè)備的SEE板和中興ZXMP S330設(shè)備的SFEx6板組成以太網(wǎng)環(huán)網(wǎng)業(yè)務(wù)。SFEx6板啟用生成樹(shù)協(xié)議，SEE板未啟用生成樹(shù)協(xié)議，SEE板配置的是EVPLAN業(yè)務(wù)。

某日多端中興S330設(shè)備（無(wú)規(guī)律的分布于網(wǎng)絡(luò)）的SFEx6板陸續(xù)上報(bào)“單板運(yùn)行不正?！备婢婢掷m(xù)時(shí)間1分鐘左右，后自動(dòng)消失。SFEx6板配置了單板的1：N保護(hù)，盡管其發(fā)生了單板的保護(hù)倒換，但該SFE板上的所有業(yè)務(wù)還是都出現(xiàn)了瞬斷。第二天，瞬間上報(bào)“單板運(yùn)行不正?！备婢腟FEx6板有逐漸增多的趨勢(shì)，影響的業(yè)務(wù)也越來(lái)越多。

原因分析

經(jīng)過(guò)了解，故障發(fā)生前，該網(wǎng)絡(luò)沒(méi)有進(jìn)行網(wǎng)絡(luò)改造，即網(wǎng)絡(luò)拓?fù)錈o(wú)變化，也沒(méi)有新增業(yè)務(wù)，如新增接入交換機(jī)等等。受到影響的業(yè)務(wù)主要是“電力遠(yuǎn)動(dòng)”業(yè)務(wù)，該業(yè)務(wù)承載在全網(wǎng)多端中興S330設(shè)備的13#SFEx6板上。查看歷史告警，發(fā)現(xiàn)電力遠(yuǎn)動(dòng)主環(huán)從23日凌晨2：52開(kāi)始，環(huán)上的13#SFE單板開(kāi)始間歇性的上報(bào)“單板運(yùn)行不正常”告警，

同時(shí)這些中興S330設(shè)備的CS板上報(bào)“背板總線錯(cuò)”告警，端口號(hào)是77~80，這些端口剛好對(duì)應(yīng)于13#槽位。

查看歷史性能發(fā)現(xiàn)環(huán)上SFEx6板的系統(tǒng)口接收到的幀數(shù)從23日凌晨1點(diǎn)開(kāi)始異常，數(shù)量比正常情況下多出很多并且一直持續(xù)，其中多播幀數(shù)增加很多。

因此懷疑SFEx6板的生成樹(shù)發(fā)生異常，已經(jīng)形成廣播風(fēng)暴。

查看各個(gè)SFE板的網(wǎng)橋運(yùn)行狀態(tài)，發(fā)現(xiàn)并沒(méi)有找到BLOCK端口，可以證實(shí)確實(shí)以太網(wǎng)業(yè)務(wù)成環(huán)了。業(yè)務(wù)成環(huán)后，大量的異常報(bào)文在環(huán)內(nèi)風(fēng)暴，對(duì)SFE板的交換芯片造成了沖擊，導(dǎo)致交換芯片異常，SFEx6板自動(dòng)發(fā)生復(fù)位。在SFEx6板自動(dòng)復(fù)位期間，NCP板就檢測(cè)到了其“單板運(yùn)行不正常”告警，CS板就檢測(cè)到了其“背板總線錯(cuò)”告警。

在客戶的配合下，在網(wǎng)管上禁用了環(huán)上一個(gè)站點(diǎn)的SFE板的系統(tǒng)端口，強(qiáng)制破環(huán)，環(huán)上SFE單板不再上報(bào)異常告警。隨后逐個(gè)確認(rèn)各個(gè)站點(diǎn)的業(yè)務(wù)恢復(fù)情況。最終確認(rèn)只有ZHB站（中興S385設(shè)備）這一個(gè)站點(diǎn)的業(yè)務(wù)不通，并且需要經(jīng)過(guò)ZHB站的業(yè)務(wù)都不通。ZHB站（中興S385設(shè)備）配置的是14#SEE板，中斷14#SEE板的西方向的VCG口，將ZHB站置為環(huán)網(wǎng)的最尾端結(jié)點(diǎn)，這樣對(duì)其它站點(diǎn)的業(yè)務(wù)不會(huì)造成影響。

同時(shí)進(jìn)行了抓包分析，經(jīng)客戶確認(rèn)，抓到的報(bào)文里有很多異常的IP地址，如“192.162. x.x”、 “192.168.x.x”、“64.40.x.x”，這些IP地址不應(yīng)該存在于客戶的網(wǎng)絡(luò)中。手動(dòng)將環(huán)網(wǎng)破環(huán)后，雖然除了ZHB站外其它站點(diǎn)的業(yè)務(wù)均恢復(fù)正常，但抓到的報(bào)文顯示仍然存在異常的IP地址，因此可以確定網(wǎng)絡(luò)中仍然存在異常的報(bào)文源。

25日重點(diǎn)對(duì)ZHB站的14#SEE板進(jìn)行了分析，初步確定此SEE板存在異常。經(jīng)過(guò)此SEE板的報(bào)文內(nèi)容可能被異常修改，所以不管手動(dòng)破環(huán)前后，環(huán)上都可以抓到異常報(bào)文。由于生成樹(shù)協(xié)議報(bào)文不能正常通過(guò)，導(dǎo)致業(yè)務(wù)成環(huán)。

另外從ZHB站兩端對(duì)接的以太網(wǎng)板的性能也可以確定此站點(diǎn)SEE板發(fā)出的報(bào)文存在異常。通過(guò)ASCII碼流可以查到ZHB站東向的TJW站有不斷收到異常幀并丟棄（TJW站也是SEE板，網(wǎng)管上不統(tǒng)計(jì)系統(tǒng)口的異常丟棄幀數(shù)），西向的基站21的系統(tǒng)端口從23日凌晨1點(diǎn)開(kāi)始持續(xù)有接收幀被過(guò)濾數(shù)，如下