RDMA高速低延时网络:流动缓存背后的功臣

RDMA高速低延时网络:流动缓存背后的功臣

戴尔Fuild Cache for SAN,在服务器闪存缓存与SAN阵列的集成方面可谓独树一帜。相信一些读者对该技术已经不陌生,除了那500万IOPS的Demo之外,网上也能找到相关资料和分析的文章,如:《性能与ILM的平衡:服务器闪存缓存的思考》。今天我们想回顾一下Fuild Cache for SAN的独特技术优势,以及在流动缓存背后的功臣——RDMA高速低延时网络。


如果说PCIe/ NVMe打通了主机内部CPU与闪存之间通道的话,那么RDMA over InfiniBand或者RoCE则能够有效改善跨节点的闪存访问性能。

Fuild Cache for SAN的独特优势

1. SAN整合尽管有多家厂商都宣称他们的服务器闪存缓存软件,可以配合后端SAN存储使用,但许多也标明了只是单机读缓存。除了戴尔Fuild Cache for SAN之外,具备分布式缓存一致性和RAC支持的寥寥无几。


这里要强调一下,早期的Server Flash Cache软件通常不支持像Oracle RAC这样的双活(Active/Active)集群访问,简单说就是当一台服务器向后端共享存储中写入数据时会锁定整个LUN。而Oracle RAC需要的是传统SCSI-3规范的细粒度锁机制,一个LUN上的不同LBA允许同时接受来自多个服务器的写操作。


分布式缓存一致性解决的就是协同,或者说数据一致性。如果由一台服务器改写了后端LUN内的数据,在另一台服务器上Flash Cache内也有对应的数据块,需要做过期处理,也就是说要维护一个同步的缓存元数据索引。


Server Cache Pool——戴尔将Fuild Cache for SAN称为缓存池,是因为一台服务器闪存缓存中的数据可以供集群中别的服务器加速存储访问,而后者并不是必须要作为这个闪存缓存池的贡献者。


2. Server Cache Pool戴尔将Fuild Cache for SAN称为缓存池,是因为一台服务器闪存缓存中的数据可以供集群中别的服务器加速存储访问,而后者并不是必须要作为这个闪存缓存池的贡献者。


3. 异构服务器访问既然Fuild Cache for SAN网络中不是每个服务器节点都需要配置闪存缓存(最少2个贡献节点+1个仲裁节点),那么也就允许第三方服务器加入集群。


4. Write-back(写回)缓存支持尽管一家戴尔友商曾表示将支持write back写缓存,但直到去年我们也没有看到这一功能的发布。


闪存一旦用于读&写缓存,和自动分层存储已经有相似之处。只是数据是否最终要持久化到后端的问题,因为这时闪存中的待写入数据必须保证可靠性和高可用性。


这就涉及到本文的重点——RDMA网络。为了缓存池中的全局访问,还有把每台服务器的闪存写缓存镜像到其它节点以实现冗余,最好能有一个低延迟的专用高速网络。

image

5. 低延时专用互连网络戴尔Fuild Cache for SAN需要配置专用的40Gb或者10Gb RoCE(RDMA over Coverge Ethernet)缓存通信网络,RoCE在相同速率下的性能/延时表现可以媲美InfiniBand。我们看到部分多控制器的高端存储阵列,其节点间就是用IB网络互连,而戴尔Fuild Cache for SAN的闪存缓存池更加靠近服务器,取得更好的性能也在情理当中。

延时大跳水:绕开TCP/IP协议栈开销

image

如上图,我们看到40GbE和10GbE交换网络的物理延迟(当然不包括TCP/IP)分别只有0.6和0.8微秒,RoCE(RDMA over Coverge Ethernet)的延迟也不到1微秒。这里我理解的应该是主机到交换机。

直行何必绕弯——看RDMA如何工作

image

来自去年闪存峰会资料的这张图,简明的解释了RDMA over IB和RoCE的好处:从User层(用户态)绕过Kernel层(内核态),直接走InfiniBand HCA或者RoCE网卡从网络发送数据;即从应用的buffer缓冲,绕过了OS的接收和发送buffer,甚至网卡上都可以不再做buffer。当然,我们前面提到的另外一点——绕开TCP/IP也是改善性能的重要因素。

从RNA内存虚拟化到Fuild Cache for SAN

image

上图来自Mellanox 2011年的资料,Mellanox是最大的InfiniBand网络设备制造商,也是RoCE的主要发起者。戴尔与Mellanox在高性能计算和存储方面有着紧密的合作。


RNA 这家公司已于同年被戴尔收购,上面的对比数字是他们之前的MVX内存虚拟化产品在RoCE和TCP/IP网络下的延时对比。注意这里是应用级 Benchmark和Round Trip延时,当时使用的ConnectX-2是10Gb万兆网卡。从测试结果来看,RoCE延时只有TCP/IP网络的1/3多一点。


值得一提的是,Fuild Cache for SAN正是RNA的技术融入戴尔之后推出的产品,将RoCE高速网络与PowerEdge服务器上ExpressFlash NVMe PCIe SSD的优势结合起来,相得益彰。

0
  • 在這個世界上,沒有人比我更有資格給你幸福,別人給,我不放心,你知道嗎。如果你還是不相信我,沒事,一輩子那麼長,我等你幾年又何妨。等你什麼時候想要了,告訴我,我幫你。幸福天堂line:jkk50056

  • 台灣叫外送LINE:yy5208

    [IMG]i37.servimg.com/.../IMG]

    台灣叫外送LINE:yy5208 台中叫小姐找學生妹, 台北指油壓.高雄按摩.新竹半套店.彰化

    台灣外送茶看照約妹加我+LINE:yy5208  外出找小姐+台北找小姐+台中找小姐+line:yy5208 看照論壇:www.141Luck.com /喝好茶/品好茶/來自星星的你宅男女神大台灣最夯純兼職外約外送/一夜情/

    鐘點情人外約/八大娛樂/正妹外送

    i37.servimg.com/.../yy10.jpg

    看照論壇:www.141Luck.com

    聯絡方式:

          LINE:yy5208

         及時:ling123263

         Skpye:love1990311

    外送服務地區 :

    服務地區:

    台北市:中正區.大同區.中山區.松山區.大安區.萬華區.信義區.士林區.北投區.內湖區.南港區.文山區 ](皆可送)

    新北市:三重.土城.永和.汐止.新莊.樹林.板橋.新店.廬州(皆可送)

    淡水.林口.龜山(因地區偏遠需加200車資)

    台中縣市:中區.東區.西區.南區.北區.西屯區.南屯區.北屯區.逢甲.大里.七其.大雅.東海(皆可送)

    豐原.烏日.沙鹿.霧峰(因地區偏遠需加200車資)

    彰化市.員林.草屯.南投市(皆可送)

    【服務時間】

    服務時間:中午12:00--凌晨4:00(提前預約)

    大台北“買三節可送一節”

    我們的外約服務品質有口碑,保證您消費過一次之後回味無窮

    本茶莊外約小姐不但素質高價格合理,且服務一流,不滿意包退換

    大台北推出優惠:一次性買三送一 買六送二 買九送三

    活動地點選擇:MT或HT地點 任君挑選 MM配合您(有安全服務區域皆可)

    第二次就可以外約住家喔~絕對好茶為你親自貼心服務(住家只限台中-台北)

    ◇玩得開心◇花的舒心◇滿足你所有的邪惡貪念◇我是你心理的小惡魔◇

    ◇陪你一起神遊仙境 ◇欲仙欲死◇神秘小穴等你來探索 ◇ 濕濕又窄窄 ◇

    好茶不容錯過~您的安全-滿意-就是我的服務宗旨

    外送服務時間:中午10:00--凌晨4:00(提前預約)

    服務性質:純兼職外送茶

    注:加天香請告知:

    A 想要的妹妹類型

    B 能接受什麼價位

    C 預約時間

    D 預約地點 

    看了滿意再消費‧不強迫‧免轉帳‧免匯款‧免受騙‧

    在本論壇加天香的帳號 只要告知天香就有500的優惠喲^^

    將傾心為您服務!!!!

  • 台灣叫外送LINE:yy5208

    [IMG]i37.servimg.com/.../IMG]

    台灣叫外送LINE:yy5208 台中叫小姐找學生妹, 台北指油壓.高雄按摩.新竹半套店.彰化

    台灣外送茶看照約妹加我+LINE:yy5208  外出找小姐+台北找小姐+台中找小姐+line:yy5208 看照論壇:www.141Luck.com /喝好茶/品好茶/來自星星的你宅男女神大台灣最夯純兼職外約外送/一夜情/

    鐘點情人外約/八大娛樂/正妹外送

    i37.servimg.com/.../yy10.jpg

    看照論壇:www.141Luck.com

    聯絡方式:

          LINE:yy5208

         及時:ling123263

         Skpye:love1990311

    外送服務地區 :

    服務地區:

    台北市:中正區.大同區.中山區.松山區.大安區.萬華區.信義區.士林區.北投區.內湖區.南港區.文山區 ](皆可送)

    新北市:三重.土城.永和.汐止.新莊.樹林.板橋.新店.廬州(皆可送)

    淡水.林口.龜山(因地區偏遠需加200車資)

    台中縣市:中區.東區.西區.南區.北區.西屯區.南屯區.北屯區.逢甲.大里.七其.大雅.東海(皆可送)

    豐原.烏日.沙鹿.霧峰(因地區偏遠需加200車資)

    彰化市.員林.草屯.南投市(皆可送)

    【服務時間】

    服務時間:中午12:00--凌晨4:00(提前預約)

    大台北“買三節可送一節”

    我們的外約服務品質有口碑,保證您消費過一次之後回味無窮

    本茶莊外約小姐不但素質高價格合理,且服務一流,不滿意包退換

    大台北推出優惠:一次性買三送一 買六送二 買九送三

    活動地點選擇:MT或HT地點 任君挑選 MM配合您(有安全服務區域皆可)

    第二次就可以外約住家喔~絕對好茶為你親自貼心服務(住家只限台中-台北)

    ◇玩得開心◇花的舒心◇滿足你所有的邪惡貪念◇我是你心理的小惡魔◇

    ◇陪你一起神遊仙境 ◇欲仙欲死◇神秘小穴等你來探索 ◇ 濕濕又窄窄 ◇

    好茶不容錯過~您的安全-滿意-就是我的服務宗旨

    外送服務時間:中午10:00--凌晨4:00(提前預約)

    服務性質:純兼職外送茶

    注:加天香請告知:

    A 想要的妹妹類型

    B 能接受什麼價位

    C 預約時間

    D 預約地點 

    看了滿意再消費‧不強迫‧免轉帳‧免匯款‧免受騙‧

    在本論壇加天香的帳號 只要告知天香就有500的優惠喲^^

    將傾心為您服務!!!!