一个有趣的第12代服务器内存配置问题

系统管理

系统管理
系统管理讨论组

一个有趣的第12代服务器内存配置问题

  • 服务器的内存配置其实是很有讲究的。当我们手上拿到这批测试机器的时候,开机自检就发现屏幕有内存槽告错,拆机检查后发现,由于前阵子的展示,应该是有人对内存做过错误的插拔,造成系统内存检测异常。后严格按正确顺序重新插拔一次内存,解决故障。

    在分享我们几位同事的一些问题探讨前,先一起分享一些CPU和主板内存设计的细节:

    1. 这个是Intel E5至强处理器的架构图。注意图中的右上“RAM”,在12代服务器里,单个CPU直接引出了4条内存通道,使得CPU可以在4个通道上直接和内存做通信,跳过了大家原先比较熟悉的北桥芯片。

    2. 这个E5架构反映到第12代双处理器服务器的主板设计上:我们看到,每个处理器左右各有2个,共4个内存通道。12代服务器里,每个通道设计可以插最多3条的DIMM。这样系统最多插 2CPUx4Channelx3slots=24条的DIMMs

    好的,问题来了:

    1. 如果在双处理器的12代服务器上,只购买了一个CPU,可以支持多少条内存呢?

    2. 只使用了单个CPU的情况下,内存是应该怎样插的呢?


  • 单CPU模式下最多插12个RDIMM内存,应该是插在单颗CPU中心,临近的左边6条和右边6条(即属于该CPU的4个通道内的12个DIMM插槽内)

  • 嗯,是的,我们也认同Tommy的回复。这是个很有趣的讨论。因为北桥芯片被Intel E5的取代,它主要负责的一些内存访问的管理全部集成到CPU内部去了,这个变化反映在主板的设计上,内存的安装上也带来了新的问题。

  • Richard您好,您在文中提到 "12代服务器里,每个通道设计可以插最多3条的DIMM。"。我们准备购入的服务器是单片的,如果按照这样的说法,是否意味着我们购买的内存条数应该是3的整数倍才能使用4通道呢?

    比如,当内存条数量是3,6时,才能发挥4通道的优势,而如果是4或者其他数字时就不能使用4通道了?

    谢谢!

  • abel.xie

    Richard您好,您在文中提到 "12代服务器里,每个通道设计可以插最多3条的DIMM。"。我们准备购入的服务器是单片的,如果按照这样的说法,是否意味着我们购买的内存条数应该是3的整数倍才能使用4通道呢?

    比如,当内存条数量是3,6时,才能发挥4通道的优势,而如果是4或者其他数字时就不能使用4通道了?

    谢谢!

    Hi Abel你好,

    不是这样的,我们应该尽量使用所有的通道,因为各个通道的带宽是独立的,所以是4的倍数比较好。但是对于其中任一通道上,我们最多插3条内存。插在同一通道上的内存是共享带宽的,我们当然是在4个通道都插上内存后,才考虑在同一个通道上插多条内存。这样性能最优化。

  • 感谢您的回复。

    您看我现在这样理解对不对:

    CPU提供4个通道,每个通道支持3条内存,这个只是容量的限制;如果我在相同通道内插满3条内存,那么相当于3条内存共用该通道的带宽,这种情况其实是单通道;而如果我要使用双通道,我至少需要准备两根内存,在通道1和通道2中各插入1条,但插入的位置需要是颜色相同的插槽;如果是四通道,我就至少需要准备四跟内存,在通道1-4中颜色相同的地方插上。

    谢谢.

  • hi Abel,

    大致上是对的。

    其实,戴尔的服务器在主板设计时,已经考虑过用户在内存插拔方面的问题,所以在主板上,我们有数字记号明确标出了内存条插入主板的顺序。你只要按照上面的A1,A2,A3 。。。。A16的顺序插内存(CPU 1第一条内存插A1,第二条插A2。。。同理CPU2第一条内存插B1,第二条插B2.。。),就不会出错了。最最坏的情况,还是插错了也没关系,开机自检的时候,请注意屏幕的出错提示,这样总不会错了吧。

    我临时用手机拍了个截图,效果不是太好,仅供参考:(可点击放大,A1是白底绿字,曝光太强,看不太清晰)

  • @Richard

    最近在为公司做硬件选型,由于之前没有接触过这个领域,所以很多东西都很模糊,感谢您的解惑。通过这段时间的学习,我在CPU和内存之间的选择准备按照如下思路来做,但是不太清楚是否正确,如果有不合理的地方,还请您指点一下。

    1) 我计划首先选择CPU,通过Intel提供参数来确定该CPU支持的内存频率;

    2) 如果业务1的需求是web应用,假设需要16GB的内存;由此我确定了内存的容量和频率;

    3) 为了尽量多的使用该CPU提供的内存通道数,所以用内存容量/通道得出每个通道我应该购买的容量。

    E5-2600提供4个内存通道,内存需求为共16GB,每个通道我需要4GB。

    4) 按照<英特尔SandyBridge架构处理器和内存技术>介绍的图片来看:

    按上面的思路,如果每个通道使用4GB,频率需求为1333,第3行首先被排除了。那篇文章提到按价格来讲,LRDIMM是最贵的,因此第4行也被排除了。

    按延迟来说,UDIMM比RDIMM更小,是否意味着在这个情况下,我应该选择第2行的UDIMM是一个最优的方案?即选择4条4GB大小的UDIMM,插入单CPU的4个通道A1-A4。

    我发现对于第2行的UDIMM来说,单通道内支持2条内存时,频率也没有降低,是否意味着在目前情况下,我选择8条2GB大小的UDIMM,每个通道插入2条也是可行的?

    还希望Richard能给于一些专业的指导,谢谢。

  • 谈谈我的想法,先表明一下:下面纯属个人意见。有不同见解的戴尔同事,也欢迎拍砖。

    首先,服务器产品不同于日常消费级产品,比如AlienWare,家用机。管理员采购服务器,一般都有着特定的用途,需要运行特定的应用。所以对于应用以及业务需求的分析远比服务器本身更为重要。

    我们看看你列出的项目:

    首先,我们得根据应用的处理能力的需求,确定CPU以及内存主频的需求,第一点是正确的。性能要求高的应用,需要内存主频较高的配置。在这基础上,选价位可以承受的CPU。

    第2点,内存频率见上,容量选择需要考虑具体应用对内存的消耗,以及业务将来拓展的需求,留一定的余量。

    第3,4点,内存我们更多应该考虑的是容量,价格与扩容。容量对性能的影响最大,而不要考虑什么延迟性等等,这些是留给发烧级管理员用的。主频是1333MHz的内存,它就是说:厂商保证可以稳定运行在这频率上,再好的延迟性,速度还是1333MHz。在容量大小确定的情况下,买4条4Gb肯定比一条16Gb带宽高,因为它分布在4个通道上,同时价格也便宜些。但是,你也消耗了4个内存插槽。如果将来你需要内存扩容的话,也需要考虑一下是不是需要单条容量更高的内存。

    综上述,购买服务器产品,不是购买台式机,比CPU频率,比内存,比硬盘(AlienWare发烧友可能会追求一些顶级配置,以保证2~3年内还可以运行不特定的新游戏,哈哈)。主流的R720服务器可以覆盖90%以上的主要应用。我们根据自身的需求,选择最适合自己的配置和价格。如果有特定需求的应用,比如密集IO的数据库,可以对内存或磁盘子系统做定制选择。

    如果你有这方面的需求,赶紧联系一下戴尔的金牌销售人员吧,我们有很好的技术销售人员可以帮你出谋划策。