最近在Vmware Fusion上的Ubuntu Server 16.04.2 LTS試裝了soft-RoCE

 

soft-RoCE是RoCE的純軟體版,主要作用官方宣稱是當有Network packet近來的時候可以跳過linux的kernel中的copy,並讓application直接去access packet以達到加速效果。需要有server跟client對應,所以要有兩台機器來測試,這邊是先裝在一台vm裡再複製到另一台host上(當server的vm ip是192.168.210.102)

 

安裝原理主要是先git source code下來並把它加到原本的linux kernel中重新compile一次

 

首先是kernelspace的部份

先把一些該裝的套件裝好

sudo apt-get install libncurses5-dev libncursesw5-dev

sudo apt-get install libssl-dev

sudo apt-get install build-essential

sudo apt-get install make

sudo apt-get install bc

 

然後就可以git了

 

git clone https://github.com/SoftRoCE/rxe-dev.git

然後進入rxe_dev資料夾並且切換branch 到rxe_submission_v18

 

git checkout rxe_submission_v18

然後copy kernel並命名為.config

cp /boot/config-$(uname –r) .config

接下來make menuconfig

make menuconfig

進入menuconfig後按"/"並輸入"RXE"就可以搜尋相關的選項

然後按1選擇第一個搜尋結果並選取它

之後選擇下方的save並直接儲存成.config一直選exit即可

sudo make -j 4

這邊大概要等1~2個小時

視硬體情況而定

接下來

sudo make modules_install

sudo make install

sudo make headers_install INSTALL_HDR_PATH=/usr

然後重開機

接下來換userspace的部份

git clone https://github.com/SoftRoCE/librxe-dev.git

cd librxe-dev/

安裝一些必須套件

sudo apt-get install libibverbs-dev

sudo apt-get install libswitch-perl

sudo apt install rdmacm-utils

sudo apt install ibverbs-utils

開始configure

./configure --libdir=/usr/lib64/ —prefix=

make安裝

sudo make

sudo make install

到這邊就安裝完成了

最後是測試部分

官方提供兩個測試工具一個是rping一個是pingpong

但是得先做一點設定

首先先做4個symbolic link

sudo ln -s /usr/lib64/librxe.a /usr/lib/librxe.a

sudo ln -s /usr/lib64/librxe.la /usr/lib/librxe.la

sudo ln -s /usr/lib64/librxe-rdmav2.so /usr/lib/librxe-rdmav2.so

sudo ln -s /usr/lib64/librxe.so /usr/lib/librxe.so

檢查rxe狀態

rxe_cfg status

啟動rxe_cfg

sudo rxe_cfg start

把虛擬網卡加入

sudo rxe_cfg add ens33

掛上必要的module

sudo modprobe ib_uverbs

之後每次開機的時候必須輸入這兩行指令

sudo rxe_cfg start

sudo modprobe ib_uverbs

也可以把他們寫到.bashrc裡面

 

再來就可以測試了

因為是裝在vm裡面兩台對測所以得改成bridge mode

先測pingpong

server端使用sudo ibv_rc_pingpong -d rxe0 -g 1

client端使用sudo ibv_rc_pingpong -d rxe0 -g 1 192.168.210.102

再測rping

sudo rping -s -a 192.168.210.102 -v -C 10

sudo rping -c -a 192.168.210.102 -v -C 10

文章標籤
創作者介紹

w180112的部落格

w180112 發表在 痞客邦 PIXNET 留言(0) 人氣()