2022-9-23

最近某項目采用以太網通信，實踐起來有些奇怪，好像設計成只能應答某類計算機的ICMP（ping）命令， 某類計算機指的是Windows特定系統(tǒng)，其他系統(tǒng)發(fā)送ping都不能正確識別。

其實不奇葩

白蔡：“吳哥，江湖救急！甲方爸爸的電路板寄過來好幾天了，我一直搞不定它的以太網?！?/span>

甲方爸爸干系統(tǒng)集成的，要把我們兩家產品打包售賣，甲方設計FPGA，我方設計嵌入式Linux，兩塊電路板采用以太網直連 方式通信。桌面上擺放的是雙方的成熟產品，一根網線連接，簡單到不能再簡單了。

白蔡：“他們的產品很奇葩，F(xiàn)PGA的IP固定為192.168.1.6，我方的IP必須是192.168.1.7，以太網也必須千兆不協(xié)商?！?/span>

吳解兩手撐著臉坐在白蔡工位：“有什么奇怪的，已發(fā)表論文都是怎么干的，F(xiàn)PGA--以太網--處理器，班內通信才這么搞定。沒有省去路由協(xié)議，F(xiàn)PGA沒必要設計復雜的協(xié)議棧應答模式，IP什么的僅為了填充協(xié)議棧，寫死就寫死，” 上挑眉毛，“說說你遇到的具體問題。”

白蔡：“奇怪的是我做如下三組實驗，嵌入式Linux和FPGA好像沒有應答， 當然，實驗前桌面電腦和嵌入式Linux都已經設置成千兆不協(xié)商

三組對照實驗如下：

• 桌面電腦ping FPGA，OK

• 桌面電腦ping 嵌入式Linux，OK

• 嵌入式Linux ping FPGA，無響應

對描述者保持懷疑

吳解：“3個步驟，你再演示一遍給我看?！睉岩砂撞虥]有正確描述現(xiàn)象。

白蔡在桌面電腦設置固定千兆速率：本地連接->屬性->配置->高級->速度和雙工->1.0 Gbps全雙工。嵌入式也用ethtool設置固定千兆速率，重復3個步驟與所述一致。

確認網速

吳解扛來示波器，驗證嵌入式Linux和FPGA通信速率是不是都真的工作在千兆模式。ethtool也不是所有網卡驅動都支持，雖然/sys/class/net/eth0/speed顯示著1000，有可能顯示和實際不一致。

FPGA的板子畢竟不是自己畫的，不太好找。

示波器測試MAC和PHY之間的通信速率，如果是125MHz表明工作在千兆模式，結果顯示均為125MHz。

檢查線序

白蔡：“會不會是網線的問題呢？嵌入式Linux莫非不能同時兼容交叉線、直通線？嵌入式Linux和桌面電腦連接后，桌面電腦完成收發(fā)自動翻轉，于是通信成功?！?/span>

吳解：“不能自動翻轉線序的網卡我只在2010年前見過一次，負責線序翻轉是網卡PHY的附加功能，目前市面上的PHY都具備。”

兩人去庫房借來另一塊同型號的嵌入式Linux板卡，確認兩塊嵌入式Linux板卡所用的PHY是同型號的，畢竟近些年芯片之間的Pin to Pin替換解決方案挺多。并準備兩根交叉線和直連線。

如果兩塊嵌入式Linux板卡接入任何一根網線都能ping通，則表明板載PHY支持自動翻轉線序。實驗證明與網線無關。

tcpdump抓包

吳解：“是挺邪門，光猜是猜不出來的，試試tcpdump能呈現(xiàn)些什么東西?！?/span>

打開tcpdump后更邪門的事情發(fā)生了，F(xiàn)PGA居然有回應ICMP包！不會是FPGA設計的協(xié)議棧閹割得太多了吧。

疑點1、兩網卡連接后首先交互的是ARP協(xié)議，在沒有完成ARP協(xié)議前不可能發(fā)送ICMP協(xié)議，既然嵌入式Linux能發(fā)送ICMP表明ARP協(xié)議已經交互完成；

疑點2、嵌入式Linux ping FPGA和桌面電腦的效果不一樣，首先注意到ID值，正常情況下ID值應該與發(fā)送的一致；

吳解以前移植過ICMP協(xié)議，映像里ICMP協(xié)議實現(xiàn)起來很簡單，ID用于表征對端回應的ICMP reply是哪一個，畢竟兩機器之間間隔若干路由器，每個數(shù)據包可能選擇兩條不通的鏈路返回，后發(fā)送的ICMP reply可能比先發(fā)送的先被終端收到。

busybox源碼的把ID號作為判斷依據。

wireshark分析

不過奇怪的是，為什么桌面電腦ping卻能正常響應呢？

吳解用tcpdump把抓包的內容保存成通用格式pcap，在自己的電腦上用wireshark打開。文件保存了兩份，一份是桌面電腦與FPGA的數(shù)據，一份是嵌入式Linux與FPGA的數(shù)據。

FPGA返回給桌面電腦的ICMP replay數(shù)據里ID項是跟著request變化的，不是固定的1。

猛然間發(fā)現(xiàn)，request和reply的長度是不一樣的，分別是98字節(jié)和74字節(jié)，點開數(shù)據區(qū)域觀察到數(shù)據填充內容完全不同。FPGA返回的數(shù)據區(qū)域是“abcd”開頭。

看著數(shù)據區(qū)的內容吳解預感找到現(xiàn)象原因了，隨即用自己的桌面Linux系統(tǒng)ping FPGA板卡也沒通。跑到白蔡的工位：“你有沒有桌面電腦Ubuntu系統(tǒng)上測試過ping FPGA板卡？”

白蔡：“沒有，現(xiàn)在沒興趣，emo了?！?/span>

白蔡有兩臺桌面電腦，一臺Windows一臺Ubuntu，演示時僅演示Windows系統(tǒng)，下意識的認為白蔡之前也在Ubuntu上測試過。

吳解：“問題找到了，甲方提供的FPGA板卡ICMP reply模仿Windows格式，Windows的request就是以abcd開頭的。我猜測你如果用windows設置ping包大小，F(xiàn)PGA同樣不會正確返回?！?/span>

白蔡來了精神，抓取Windows上的ICMP request數(shù)據，果真是“abcd”開頭：“也就是說后續(xù)可以正常開發(fā)應用層協(xié)議，不必管ping嗎？”

吳解：“是的?！?/span>

后來白蔡找甲方爸爸確認，他們的確是模仿Windows的reply包做的。