問題描述

某局點電多條ces業務經常夜間中斷，其中一條中斷最為頻繁的業務組網如下：

該條業務每天下午6、7點鐘開始中斷，中斷時無任何人為操作，持續幾個小時后自動恢復。

處理過程

1、網管查詢傳輸鏈路配置和狀態，發現：

1）115號站點OSN3500和158號OSN550時鐘通過同步以太跟蹤到100號OSN7500II，100號OSN7500II跟蹤外部時鐘源；但兩端用戶設備沒法設置跟蹤傳輸的時鐘跟蹤。

2）58號OSN550有少量buffer下溢記錄，懷疑和用戶設備沒有跟蹤到傳輸的時鐘相關，但數量較少，不可能是業務每天夜里中斷幾個小時的原因。

3）115號站點OSN3500 E1端口24小時歷史性能，發現19-md75-23和其它幾個端口都有大量誤碼上報。

進一步查詢歷史性能發現，誤碼只在夜間產生，白天正常沒有誤碼。而且誤碼秒時間有6個小時左右，和業務中斷時間比較吻合。

2、將業務斷開，一端環回，一端掛儀表（CMA3000）測試，測試時間為下午3:30到第二天上午8:30，測試時間覆蓋夜間業務中斷時間，發現無業務長斷情況出現。說明至少網絡側工作正常。

3、客戶排查其它業務情況，發現農發行業務、財務專網業務等也都存在晚上6、7點鐘開始中斷的情況，只是因為這些業務的客戶側終端設備都不是24小時開機，所以沒有上報每天中斷的故障。

而這些中斷的業務全部都是經過158號網元OSN3500 19-md75傳輸的：

19-md75-18 業務1

19-md75-20 業務2

19-md75-21 業務3

19-md75-22 業務4

19-md75-23 掛表測試業務

19-md75-1到19-md75-10 其它業務

這些端口出來之后，就分別接不同的光電轉換器或協議轉換器（都在158號網元機房），之后通過光纖拉遠到不同的客戶機房。

至此，問題基本鎖定在158號網元機房。

4、在雷達站業務中斷的時間，做了以下測試：

1）158號網元OSN3500 19-md75-23端口軟件外環，此時158號網元用戶機房終端“信號丟失”故障燈仍然長亮；但將與此端口對接的光電轉換器電纜環回，故障燈滅。說明故障出在158號網元3500 19-md75-23端口以及與其對接的光電轉換器之間。

2）故障時19-md75-23和光電轉換器上都有誤碼指示，但兩端分別通過E1電纜環回后，兩端誤碼都會消失。調整傳輸上ces業務端口，從19-md75-23調整到19-md75-1，故障未消失；更換光電轉換器的E1端口，故障未消失；兩端設備分別掉電重啟，故障也未消失。說明并不是某一端設備故障導致的誤碼。

3）分別將19-md75接入業務的各E1端口拔掉，發現其它端口誤碼情況并沒有明顯好轉。說明誤碼并不是某一路遠端設備的干擾引入的。

從以上測試結果和故障現象分析，懷疑158號網元機房供電、接地問題或外部干擾導致此故障發生。

5、實地觀察158號網元機房周邊環境，發現：

1）雖然附近存在多個通信基站、大型戶外照明廣告牌以及市電變壓器等設備，但沒有發現和故障時間完全吻合的干擾源。儀表也未檢測出故障前后無線電干擾的明顯變化。外部干擾源無法明確。

2）市電供電情況，白天一直穩定在233V左右，但下午6、7點用電高峰開始，電壓會有明顯的升高，最高可到達240V。比機房UPS輸出的穩定在220V左右的電壓高出許多。

3）OSN3500接地線接往UPS電源，與3500 E1端口對接的各個光電轉換器和協議轉換器的三相市電插頭直接插接線板，各接線板地線也最終接往UPS電源。但UPS地線從機房出來后懸空，沒有真正接地。

從上述機房環境來看，機房未接地是最大的疑點。

6、機房接地后，觀察7天，發現之前每天中斷的雷達站業務沒再出現中斷情況，158號網元OSN3500各E1端口也沒再出現誤碼記錄，確認問題解決。

根因

施工不規范造成158號網元OSN3500設備和對接設備均沒有接地導致問題發生。

解決方案

將設備接地按照規范連接地排。

建議與總結

CES業務或者分組業務如果遇到一些規律性的誤碼又無法找到問題原因時建議先找到中斷業務的共性首先排查時鐘跟蹤和機房接地。