集群的“心脏”与“大脑”都在服务器上运行(HPCC 界称其为节点)。总体说来,节点分为两类:主/登录节点和计算节点。让我们看看 HPCC 节点的基本功能和常用可选方案。

主/登录节点

主节点的主要功能是充当集群的大脑。它的基本任务就是运行集群管理工具 (CMT)— 见 HPCC 软件说明的其他章节。此外,这个节点还可以运行其他集群功能,例如:

  • 任务调度
  • 集群监控
  • 集群报告
  • 用户账户管理

一定规模的系统,主节点可以充当用户的登录节点。这个方案意味着主节点需要一个专用集群网络的网络接口(通常是 eth1)和一个连接外界的网络接口(通常是 eth0)。

此外,用户有时还要在主/登录节点上运行所谓的“预处理”和“后处理”应用程序。预处理应用程序为在集群上运行的任务创建输入数据(任务是一个通称,指的是由任务调度器启动的应用程序)。后处理应用程序获取集群任务的输出,然后对输出数据进行分析。此外,有时候用户会为了实现虚拟化或数据操纵而在节点上运行交互代码。

很多情况下,主节点还可以有一个可以使用 NFS 导出到计算节点的外挂式存储(对于较小的集群)。对于较大的集群,主节点页可以外挂到存储网络上,对存储进行监控和管理。

因为要执行所有这些功能,所以主节点必须非常强大。所以,主节点的设计中经常包括热切换电源、含有操作系统的驱动器 RAID-1(映像)等功能。此外,主/登录节点外挂到多个网络上,包括一个管理网络(基于 TCP)、内部计算网络(若有)和外部网络。你要为数个网络连接留出适当空间来。甚至可以到下一层级,把主节点做成一个完整的 HA 解决方案,这种解决方案带有节点间关键系统功能的故障恢复功能(不过,这个可能不需要,因为大多数任务调度器和 CMT 都可以处理多个故障恢复服务器而无需将主节点做为 HA 解决方案)。

对于较大的系统,建议将主节点的任务和登录节点的任务分开。分离过程中,赋予主节点用 CMT 包控制集群的任务。它也可以是任务调度和资源管理的主点。这时登录点就变成了一个允许用户登录、运行预处理和后处理应用程序、向集群提交任务的系统。从物理配置的角度看,主节点和登录节点的配置通常是一样的。随着集群规模扩大或集群上用户人数的增加,您可以增加更多登录节点。配置多个登录节点的方法很多,但是这个已经超出了 HPCC 节点介绍的主题范围。

计算节点

计算节点实际只做一件事——计算。真的就是计算。其他的就没有什么好讲的,除了要指出计算节点的形状因子(机箱)可以根据计算节点的要求而变化,这个问题将在下个章节讨论。

什么 U 才是 U?

HPCC 节点的一个关键可选方案是打包。有时人们将其称为“形状因子”。基本上就是每个节点的机箱。这里有几个可能的 HPCC 节点:

  • 您的主/登录节点或计算节点使用 1U 机箱么

 

  • 或者使用 2U?

 

  • 或者使用 4U?

 

  • 或者使用刀片式?

  

关于哪种形状因子比较适合这个问题的答案一如既往都是:“要看情况”。让我们看看在哪些情况下某种方案更具优势,看看每个方案的利弊。我想把这个讨论叫做“什么 U 才是 U?”这里是经过我切身体验总结出来的几条选择形状因子的经验法则:

  • 1U 形状因子一般用于下列情况:
    • 1 个节点中需要 1 – 2 个CPU插座
    • 当主板上没有某些功能时,需要使用 PCI-e 卡(例如,IB 卡、PCI-e 卡之于 Nvidia Tesla 1U 系统)
    • 没有密集度问题
    • 较小的集群(对于较小的节点来说,刀片式一般比 1U 节点更贵)
    • 需要增添或使用更大的的驱动器,该驱动器带有刀片式无法提供的热切换功能(刀片式使用的驱动器,一般数量不多,形状因子和容量都很小,有无热切换功能不确定)
  • 2U 形状因子节点一般用于下列情况:
    • 1 个节点中需要 2 至 4 个CPU插座(通常是 2 个插座)
    • 需要的硬盘驱动器数量比一个 1U 形状因子需要的多
    • 可能要增添一个 PCI-e 卡,它具备主板上没有的功能(例如,新 IB 卡、PCI-e 用于 Nvidia Tesla 1U 系统)
    • 需要多个网络连接(例如主/登录节点)
    • 需要备用电源(虽然很多 1U 节点有备用电源)
    • 节点用电量要比 1U 小(2U 节点的风扇比 1U 的大,但一般用电量更少)
  • 4U 形状因子节点一般用于下列情况:
    • 一个节点上需要更多插座(一般是 4 个插座)
    • 一个节点需要更多 DIMM 插槽(大量内存)
    • 节点中需要更多硬盘驱动器
    • 一个节点需要更多 PCI-e 卡
    • 节点用电量要比 2U 小(4U 节点的风扇比 2U 的大,一般用电量更小)
  • 刀片式一般用于下列情况:
    • 密度很关键
    • 极其注重能量和冷却(刀片式的能量和冷却一般比机架式节点好)
    • 应用程序对本地存储容量要求不大
    • 不需要 PCI-e 扩展卡(刀片式一般有内置 IB 或 GbE)
    • 较大的集群(对于较大的系统来说,刀片式比 1U 节点更便宜)

根据这些总体评论,HPCC 节点通常遵守以下建议:

  • 主/登录节点是 2U 或 4U 形状因子。 
    • 多个网络使用较大的空间
    • 节点必需有备用电源
    • 有时系统存储放在主/登录节点上(通常是较小的系统)
  • 计算节点几乎可以采用任何形状因子构建:
    • 1U
      • 最常见的计算节点形状因子(1 至 2 个插座)
    • 2U
      • 极其重视用电量时需要
      • 当应用程序需要比为 1U 节点更多的本地 I/O 时需要
    • 4U
      • 一个节点需要 4 个或更多插座
      • 需要大量的本地 I/O
      • 用电量必须低于 2U 节点时需要
    • 刀片式
      • 需要高密度
      • 节点中不需要任何 PCI-e 卡

要想选好或选对(不说最优)形状因子首先必须了解您的应用程序。不巧的是,这个不在本文讨论的范围内,所以请用之前讨论过的经验法则来挑选适合您需要的形状因子。