跳至正文

多机部署与高可用 ​

本页说明如何将单节点的 Felis 扩展为由主控节点与工作节点组成的多机部署,以及停服迁移、故障切换与主控高可用的使用方法。本页面向熟悉 Linux、k3s 与网络配置的运维人员。

实验性功能

多机部署、故障切换与主控高可用均为实验性功能,默认关闭,尚未完成多机上线验收。启用前请在隔离的测试环境中完成上线验收,并做好数据库与集群状态的备份。

概述 ​

多机部署由一台主控节点统一下发指令,游戏服务器运行在主控与已批准的工作节点上:

  • 已停止的服务器可以迁移到其他节点,见停服迁移。
  • 工作节点失联时,其上的世界可按最新的完好备份在其他节点上恢复,由所有者手动发起或自动执行,见故障切换。
  • 启用主控高可用后,可以加入更多主控;承载控制面的主控失联时,控制面自动转移到另一台主控,见主控高可用。

未启用主控高可用时,主控是控制面与公网入口的单点:主控失联即控制面整体不可用,主控上的世界也无法故障切换。

架构 ​

角色运行的组件
主控节点Felis API 与 operator、k3s server、PostgreSQL、镜像仓库、归档服务、登录空间与正式大厅;游戏代理(Velocity)以 systemd 服务运行在主控上。
工作节点k3s agent 与 containerd,以及主控创建的游戏 Pod 与维护任务。

每台服务器的世界保存在其所在节点的本地存储上。管理员在创建服务器时选择执行节点;普通服务器所有者不能选择节点或存储卷。节点失联后拒绝新任务,operator 撤销该节点上服务器的后端与就绪状态,游戏代理按原有流程将玩家送往备用目标;世界只在所有者发起故障切换或已开启自动故障切换时转移到其他节点。组件布局见系统架构。

环境要求 ​

  • 所有节点与主控使用相同的 CPU 架构与 k3s 版本,主机由管理员信任并维护。
  • 每个节点使用固定的公网地址。对等地址列表只接受精确的 /32 或 /128 地址。
  • 节点的固定公网地址之间放行 WireGuard UDP 51820–51821;k3s 的 6443 端口只允许已知对等节点访问。
  • 主控的 root SSH 配置已设置免交互认证,并核验了各主机的指纹;系统不会接受未知的主机指纹。SSH 账户须为 root 或具有 sudo -n 权限。已接入工作节点的 SSH 别名须与节点名称一致,以便加入节点时更新所有对等防火墙。
  • 接入的新主机尚未安装 k3s。
  • 主控运行的 Felis 版本包含多机部署功能。当前通过开发版通道或 FELIS_REF=main 安装,见发布通道。
  • 启用多机部署与更改 WireGuard 配置时,须在维护窗口中停止全部服务器。
  • 主控高可用另需三台或更多奇数台主控,位于同一地域的低延迟网络中;使用浮动地址时,各主控须处于同一二层网络。

节点操作 ​

所有者在「平台设置 → 分布式」中管理多机部署:

卡片作用
多节点分布式部署显示部署模式(单节点模式或分布式模式已启用)与主控高可用状态。
节点操作启用分布式部署、接入并批准工作节点、更新节点、启用主控高可用与加入新主控,并显示任务记录。
执行节点显示各节点的角色、在线、批准、隔离与版本状态,为失联节点提供「故障切换」,为已隔离的主控提供「恢复使用」。
故障切换设置自动故障切换与世界副本间隔,见自动故障切换。

服务器的执行节点在创建服务器时选择;已停止服务器的迁移在服务器控制台页执行。下文的命令行流程用于维护与恢复。

执行「节点操作」:

  1. 在「操作类型」中选择操作。单节点模式下只提供「启用分布式部署」;启用后可选择「接入并批准 worker」「批准已有 worker」「更新节点」与「启用主控高可用」,启用主控高可用后「加入新主控」取代后者。
  2. 按操作填写「节点名称」「SSH 目标」「节点固定 IP」与「额外对等节点地址(选填)」。SSH 目标为主控 root SSH 配置中的别名或 user@host。额外对等地址以逗号分隔,现有节点与本次接入的节点自动包含在内。
  3. 阅读并勾选维护条件确认。
  4. 选择「执行操作」,并完成身份验证。

任务在主控宿主机上执行,面板连接中断不会终止任务。「任务记录」显示每项任务的阶段与执行日志。任务失败时,先核对主机当前状态并修复失败原因,再选择「重试操作」;重试会创建新任务并重新执行检查。

节点操作服务 ​

节点操作由完整安装流程安装的 felis-node-control.service 执行。面板 API 保持非 root 身份,只通过只读挂载的 Unix socket 目录访问该服务;服务只接受固定的节点操作与主机维护操作,不提供通用命令执行。相关接口仅限所有者使用,并要求身份验证与审计记录。SSH 私钥、接入令牌与主机 kubeconfig 不会返回给浏览器。

  • 任务状态与日志保存在 /var/lib/felis/node-control,仅 root 可访问。系统保留最近 100 条记录,单个日志文件上限 4 MiB,面板读取最近 64 KiB。
  • 节点操作的超时上限为 45 分钟。同一时刻只运行一项节点任务。
  • 节点操作进行期间,以及数据库恢复、整机重建、凭据轮换、更换域名等会中断控制面的主机任务进行期间,API 拒绝启动、维护与迁移服务器;停止服务器始终可用。
  • 服务重启会将未完成的任务标记为失败。恢复前须核对主机状态,安装步骤不会自动重复执行。

服务异常时,在主控上执行:

bash
sudo systemctl status felis-node-control
sudo journalctl -u felis-node-control
sudo systemctl restart felis-node-control

主机任务的整体规则见在面板中运维主机。

准备主控 ​

现有的单节点主机在启用多机部署后成为主控。启用前完成以下准备:

  1. 安排维护窗口,停止全部服务器,包括登录空间与正式大厅。
  2. 使用数据库备份流程备份 PostgreSQL,见数据库备份。
  3. 离线保存 k3s 状态、server token 与当前安装配置。使用 SQLite 的 k3s 状态目录为 /var/lib/rancher/k3s/server/db。这些文件不要复制到工作节点。
  4. 记录主控现有的节点名称,后续安装须沿用该名称。

在面板中启用 ​

  1. 打开「平台设置 → 分布式」,在「节点操作」中选择「启用分布式部署」。
  2. 在「节点固定 IP」中填写主控当前登记的固定 IP(静态地址或 DHCP 地址保留),按需填写额外对等节点地址。
  3. 勾选维护条件确认,选择「启用分布式部署」,并完成身份验证。

任务依次执行:检查环境、暂停控制器调谐并再次确认服务器已停止、备份数据库、停止 k3s 保存 db、token 与 tls 快照(位于 /var/lib/felis/cluster-backups)后重新启动 k3s、配置主控身份,最后部署主控组件与网络。期间面板可能暂时无法访问,主机上的任务继续执行。任务完成后选择「刷新部署状态」。

使用命令行启用 ​

在 Felis 源码目录中以 root 重新运行安装器,保留原有的全部安装参数,并增加多机部署参数:

bash
PEERS=192.0.2.10/32,192.0.2.11/32,192.0.2.12/32
FELIS_REF=main FELIS_DISTRIBUTED=1 \
  FELIS_NODE_EXTERNAL_IP=<主控固定公网 IP> \
  FELIS_PEER_CIDRS="$PEERS" bash deploy/bootstrap.sh

PEERS 列出所有节点的固定地址。安装器启用 wireguard-native、flannel-external-ip、NodeRestriction 与独立的 agent token,安装归档服务、最小权限 RBAC 与主机隔离规则,为主控节点加上受保护的身份标签,并将控制面工作负载以及 CoreDNS、local-path-provisioner 固定在主控上。归档 PVC、镜像仓库与数据库均留在主控。

接入工作节点 ​

接入前,在所有现有节点上更新完整的对等地址列表;在主控上执行时增加 --controller:

bash
sudo felis node firewall --peers "$PEERS" --controller-ip <主控地址>

使用面板「节点操作」接入时,防火墙更新由任务自动完成。

在面板中接入 ​

  1. 在「节点操作」中选择「接入并批准 worker」。
  2. 填写「节点名称」、「SSH 目标」与目标节点已配置的「节点固定 IP」。
  3. 勾选维护条件确认,选择「执行操作」,并完成身份验证。

任务依次执行:检查 SSH 与主机环境、更新对等防火墙、创建限时接入令牌、传输节点安装文件、安装 worker 组件、等待节点就绪、执行节点验收。

接入只用于尚未安装 k3s 的主机,系统不会重新安装已加入集群的主机。接入在节点加入集群后中断时,改用「批准已有 worker」完成验收。

使用命令行接入 ​

  1. 在主控上为每台工作节点创建独立的接入令牌,默认 10 分钟内有效。输出文件仅 root 可读,令牌不会打印:

    bash
    sudo felis node token --name worker-01 --ttl 10m --out /root/worker-01.bootstrap
    sudo k3s kubectl -n felis get svc registry
  2. 通过可信的 SSH 或 SCP 将令牌文件与相同版本的 felis 程序传输到工作节点。

  3. 在工作节点上加入集群。工作节点不需要 server token、管理员 kubeconfig、数据库或镜像仓库写入凭据:

    bash
    sudo felis node join --name worker-01 --server https://<主控公网 IP>:6443 \
      --external-ip <工作节点公网 IP> --token-file /root/worker-01.bootstrap \
      --registry-ip <镜像仓库 ClusterIP> --peers "$PEERS"
  4. 在主控上批准节点并查看节点列表。SSH 使用已有的主机密钥校验,目标账户须能执行 sudo -n:

    bash
    sudo felis node approve --name worker-01 --ssh-target <工作节点的 SSH 别名> \
      --image <Felis 镜像引用>
    sudo felis node list

工作节点不安装数据库、Velocity、API 或 operator,也不删除本地卷与 node-password;重复安装时拒绝更改节点名称或切换集群。节点的镜像源指向集群内镜像仓库的 ClusterIP,不回退到默认镜像源,并保留原镜像引用。

节点验收 ​

批准前,工作节点带有 NoSchedule 隔离污点,且没有受保护的批准标签。批准时,系统检查以下内容:

  • 架构、k3s 版本、节点在线状态、WireGuard 与主机隔离规则。
  • kubelet 无法修改受保护的节点标签。
  • 删除指定镜像后执行真实的 crictl pull,验证镜像拉取。
  • 创建临时探针,检查跨节点 Service、控制服务的可达性,以及游戏 Pod 的拒绝路径。主控从宿主机连接每个测试 Service,读取后端实际观察到的源地址,只将属于主控的精确地址写入游戏网络策略。

任何检查失败时节点保持隔离,不会启动游戏服务器。批准过程会删除指定的缓存镜像,须在节点尚无游戏任务时执行。手动 cordon 的节点不会被自动解除。

节点批准后,管理员在创建服务器时可在「执行位置」中选择该节点,见创建服务器。

更新节点 ​

主控升级后,「执行节点」列表将 felis 程序或 k3s 版本落后于主控的节点标记为「需要更新」:

  1. 停止该节点上的全部服务器。k3s-agent 会在更新中重启。
  2. 在「节点操作」中选择「更新节点」,填写节点名称与 SSH 目标。
  3. 勾选维护条件确认,选择「执行操作」,并完成身份验证。

任务先确认节点上没有游戏与维护任务,再通过 SSH 传输与主控相同的 felis 程序,在节点上执行 felis node upgrade 将 felis 与 k3s-agent 更新到主控的版本,重新安装对等防火墙,节点就绪后记录新版本。

停服迁移 ​

停服迁移将已停止服务器的世界移动到另一个节点:

  1. 在面板中停止服务器,等待状态变为已停止且游戏进程退出。
  2. 在服务器控制台页打开「停服迁移」,选择在线、已批准且未被隔离的目标节点;主控也可以作为目标。
  3. 选择「开始迁移」。

迁移依次经过以下阶段:正在归档源卷、正在恢复并校验目标卷、正在切换活动卷、迁移完成。恢复任务校验下载内容的 SHA-256,并逐文件读回校验;全部成功后,系统在一次更新中切换节点与活动卷。服务器的 Service、ClusterIP、域名与归属保持不变。进度保存在服务器记录中,刷新页面或重启主控后仍可查看。

迁移成功后服务器保持停止。检查目标世界后手动启动服务器。源卷被保留,不会被世界回收删除;确认不再需要后由管理员手动清理。

迁移失败时,服务器保持停止并记录失败的阶段与原因。请勿手动删除迁移注解或锁;排除源节点失联、目标磁盘空间不足或传输与校验错误后重试。针对同一目标的重复请求返回已有操作,其他迁移请求被拒绝。已完成的切换不会自动回退到源世界。

目标节点永久不可用时,在迁移对话框中选择「放弃迁移」。放弃仅适用于失败且尚未切换的操作:服务器留在源节点并恢复可用,目标节点上未完成的副本被删除,迁移前的安全备份保留为恢复点。目标节点无需在线。

在主控上也可以使用命令行管理迁移。该命令与数据库迁移命令 felis migrate 无关:

bash
sudo felis server-migrate start --name survival --target-node worker-02
sudo felis server-migrate status --name survival
sudo felis server-migrate retry --name survival --id <操作 ID>
sudo felis server-migrate abort --name survival --id <操作 ID>

对应的管理员 API 见API 参考。

故障切换 ​

节点失联后,其上的游戏服务器无法运行。故障切换使用每台服务器最新的完好备份,在另一个在线节点上恢复这些世界,代价是该备份之后的全部变化。故障切换适用于工作节点;启用主控高可用后也适用于主控。

手动故障切换 ​

  1. 在「执行节点」列表中找到失联的节点,列表显示其失联时长。选择「故障切换」。
  2. 对话框列出该节点上的用户服务器:每台服务器将恢复的备份时间与大小,以及切换后自动启动还是保持停止(沿用切换前的期望状态)。没有完好备份的服务器留在原节点。
  3. 在「恢复到」中选择目标节点:在线、可调度且已批准的工作节点,或主控。
  4. 输入节点名称以确认,选择「开始故障切换」,并完成身份验证。

开始后,每台服务器记录一项故障切换操作,持有世界锁,期望状态改为停止。节点操作服务随即隔离失联节点:将其设为不可调度,撤销批准标签,并加上 Kubernetes 的 node.kubernetes.io/out-of-service=nodeshutdown:NoExecute 污点,使 Kubernetes 无需等待其 kubelet 即释放该节点上的 Pod 与卷,仍记录在该节点上的 Pod 随后被直接删除。隔离任务未能启动时,felis-api 每两分钟在后台重试,隔离完成前不恢复任何世界。

每台服务器依次经过以下阶段:等待节点隔离完成、在目标节点上恢复并校验备份、切换到目标节点、已在目标节点上恢复。切换完成后恢复原期望状态。原世界卷保留在失联节点的磁盘上。

自动故障切换 ​

「故障切换」卡片保存以下设置:

设置取值默认值
自动故障切换开或关关
失联多久后自动切换(分钟)10–144015
世界副本间隔(分钟)0(关闭)或 15–144060

开启自动故障切换后,felis-api 每 30 秒检查一次。仅当恰好一个节点失联、该节点尚未隔离、至少一台主控在线,且失联时间超过设定值时,系统才将该节点上的世界切换到负载最低的在线节点:用户服务器最少者优先,数量相同时优先选择主控。多个节点同时失联更可能是主控自身的网络故障,此时等待所有者处理。自动切换失败的服务器保持停止,交由所有者处理,系统不会自动重试。

等待时间越短切换越快,短暂的网络中断也越可能触发切换。

世界副本 ​

世界副本缩小故障切换丢失的进度。运行在工作节点上(启用主控高可用后也包括主控上)的服务器按设定间隔做一次不停服备份,在备份列表中显示为「故障切换副本」:

  • 副本采用与手动备份相同的不停服流程,复制世界期间暂停存档,因此要求服务器的控制台(RCON)可用。
  • 系统每次最多启动一项副本,其他备份或恢复任务运行时等待。
  • 每台服务器只保留最新 2 份副本,保留期 48 小时。副本与手动备份、定时恢复点分开计数,互不挤占。

失联节点恢复上线 ​

失联节点恢复上线后保持隔离:其上的 Pod 已被删除,节点不再承载世界。

  • 工作节点:在「节点操作」中执行「批准已有 worker」,重新通过完整验收后解除隔离。
  • 主控(仅在启用主控高可用时可被隔离):在「执行节点」列表中选择「恢复使用」,解除隔离并恢复调度。

故障切换期间已移走的服务器保持在新节点上。旧世界卷不会被自动清理。

主控高可用 ​

主控高可用将集群状态迁移到 k3s 嵌入式 etcd,将控制面数据迁移到 Longhorn 复制卷,使控制面可以在多台主控之间转移。

高可用架构 ​

  • 集群状态:k3s 以嵌入式 etcd 运行。etcd 需要多数成员在线,因此应部署三台或更多奇数台主控:三台主控可容忍一台故障,两台主控在任一台失联时即失去多数。
  • 控制面数据:PostgreSQL、上传文件、镜像仓库、归档以及登录空间与正式大厅的世界保存在 felis-replicated StorageClass 的 Longhorn 卷上(3 副本,回收策略 Retain),卷名为原卷名加 -ha 后缀。Longhorn 组件与副本只放在主控上。
  • 控制面工作负载:felis-api、operator、PostgreSQL、镜像仓库、归档服务与世界回收任务只调度到主控,并与 PostgreSQL 运行在同一台主控上。该主控失联后,这些 Pod 在约 30 秒的容忍期后被驱逐;Longhorn 删除失联节点上的 Pod,并将复制卷挂载到另一台主控,控制面在那里重新启动。期间面板短时不可用。
  • 避免重复执行:felis-api 的后台任务由租约 felis-api-loops 保护,operator 由租约 felis-operator 保护;新的持有者只在旧持有者停止续约后接管。
  • 主机任务:数据库备份、异地副本、版本检查与构建工具镜像同步等 systemd 任务只在“主机主节点”上执行,即当前运行 PostgreSQL Pod 的主控;felis ha leader 判断本机是否为主节点。看门狗在主节点上运行,主节点不可达时也在其他主控上运行,以便报告故障。
  • 入口:每台主控都安装 Velocity。可选的 VRRP 浮动地址(keepalived)在主控之间漂移,并优先停留在主机主节点上,要求各主控处于同一二层网络。主控分布在不同网络时,改用 DNS 或云服务商的浮动地址指向各主控。
  • 系统服务器:登录空间与正式大厅可在任一主控上运行。
  • 用户世界:主控本地卷上的用户世界在该主控失联时,可像工作节点上的世界一样故障切换,前提是另有主控在线。

启用主控高可用 ​

  1. 在「节点操作」中选择「启用主控高可用」。
  2. 按需填写「浮动地址(可选)」(未占用的 IPv4 地址)、「网卡」与「VRRP 路由 ID」。网卡与路由 ID 留空时由安装脚本确定。
  3. 勾选维护条件确认,选择「启用主控高可用」,并完成身份验证。

任务依次执行:

  1. 备份数据库(标签 pre-migrate)。
  2. 保存集群状态快照(pre-ha,位于 /var/lib/felis/cluster-backups)。
  3. 以 FELIS_CONTROLLER_HA=1 重新运行安装器:k3s 通过 cluster-init 迁移到嵌入式 etcd;安装 open-iscsi 与 Longhorn(版本由 FELIS_LONGHORN_VERSION 指定,默认 v1.8.1,清单从 GitHub 下载);felis ha migrate-storage 停止系统服务器与控制面,将数据库目录、上传文件、镜像仓库、归档与系统服务器世界逐一复制到对应的复制卷,原卷保留;最后应用高可用部署清单,控制面在复制卷上重新启动。

迁移期间,登录空间与正式大厅暂停,面板短时不可访问,其他游戏服务器继续运行。felis ha migrate-storage 记录每个卷的进度,中断后重新运行只复制尚未完成的卷。设置写入 /etc/felis/ha.env,此后重新运行安装器或 felis update 均保留高可用模式。

命令行方式为在主控上以 root 重新运行安装器,并保留原有安装参数:

bash
FELIS_DISTRIBUTED=1 FELIS_CONTROLLER_HA=1 \
  FELIS_NODE_EXTERNAL_IP=<主控固定 IP> \
  FELIS_HA_VIP=192.0.2.50/24 bash deploy/bootstrap.sh
变量说明
FELIS_CONTROLLER_HA=1启用主控高可用,须同时为分布式模式。
FELIS_HA_VIP可选,带前缀长度的 IPv4 浮动地址,如 192.0.2.50/24。
FELIS_HA_VIP_INTERFACE浮动地址所在的网卡,默认为承载节点地址的网卡。
FELIS_HA_VRIDVRRP 虚拟路由 ID,1–255,默认 51。
FELIS_LONGHORN_VERSIONLonghorn 版本标签,默认 v1.8.1。

危险

主控高可用启用后无法在面板中关闭。需要回退时,使用第 1、2 步保存的数据库备份与集群状态快照手动恢复。

加入新主控 ​

  1. 在「节点操作」中选择「加入新主控」。
  2. 填写节点名称、SSH 目标与新主控已配置的固定 IP,按需填写额外对等节点地址。新主控须与现有主控架构相同,且尚未安装 k3s;SSH 要求与接入工作节点相同。
  3. 勾选维护条件确认,选择「执行操作」,并完成身份验证。

任务依次执行:

  1. 使用包含新主控地址的对等列表更新所有现有节点的防火墙。
  2. 通过 SSH 标准输入向新主控传输集群的 server token 与 agent token、本主控 /etc/felis 的打包文件以及当前的 felis 程序。这些内容不经过 API,也不写入命令行、任务记录或日志。
  3. 在新主控上执行 felis node join-controller:以与现有主控相同的 k3s 版本加入嵌入式 etcd,安装 open-iscsi、节点操作服务、Velocity,以及数据库备份、异地副本、版本检查与看门狗定时任务;配置了浮动地址时同时安装 keepalived。
  4. 节点就绪后,为其加上主控角色、节点身份与 Longhorn 磁盘标签,使 Longhorn 可以在其上放置副本。

游戏服务器在此期间继续运行。/etc/felis 中包含数据库凭据、转发密钥、邮件服务设置与 VRRP 口令,每台主控都持有完整的平台机密,须按同等标准保护。

主控失联与恢复 ​

承载控制面的主控失联后,控制面按上文所述自动转移,无需人工操作。该主控本地卷上的用户世界需要故障切换(手动或自动),规则与工作节点相同。

被隔离的主控重新上线时,先确认它已重新加入 etcd、Longhorn 已开始重建其副本,再在「执行节点」列表中对其选择「恢复使用」。节点操作服务拒绝隔离本机,也拒绝隔离最后一台在线的主控。

下线主控 ​

面板不提供移除主控的操作。永久下线一台主控时,先确认其余主控仍构成 etcd 多数,再按 k3s 文档移除其 etcd 成员并删除该节点。

隔离与网络要求 ​

游戏进程以非 root 身份运行,禁止提权,丢弃全部 capabilities,不挂载服务账户令牌,也不使用宿主机命名空间。维护任务只挂载一个世界卷:传输任务只能访问归档服务与 DNS,文件与导出任务另外只能访问 API 的传输接口。归档服务没有数据库配置与 Kubernetes 身份;只有完整的归档原子写入后,主控才记录成功。

主机防火墙规则:

  • INPUT 与 FORWARD 规则封闭从游戏 Pod 访问所在节点的路径;raw 表的 PREROUTING 规则在 DNAT 之前封闭工作节点的 NodePort。
  • raw 规则同时拒绝游戏 Pod 向宿主机发起的新连接,已建立的 Velocity 与 RCON 连接的回复保留。主控上受信任的控制 Pod 可从其精确地址访问 apiserver。
  • 规则由 systemd 安装,控制 Pod 的地址定期刷新。
  • 游戏服务器的出站检查同时验证允许的 DNS TCP 路径与拒绝路径;在分布式模式下,检查超时会阻止服务器启动。

网络配置要求:

  • 只使用精确的 /32 或 /128 地址作为对等地址,不能以整个节点网段或 Pod 网段作为 Velocity 或镜像仓库的来源。
  • 节点的固定公网地址之间放行 WireGuard UDP 51820–51821,k3s 6443 端口只允许已知对等节点访问。
  • 节点地址、防火墙或 CNI 配置变更后,先停止服务器并重新执行节点批准检查,再运行不可信代码。

相关上游文档:k3s 跨公网组网、限时接入令牌、NodeRestriction 标签、NetworkPolicy 的节点边界。

上线验收 ​

投入使用前,在至少三台 Linux 机器(一台主控与两台工作节点,下文记为 A、B、C)上完成以下验收,单台机器上的验证不能代替这些检查:

  • 跨节点的 Velocity ClusterIP:25565 连接与实际源地址、RCON、休眠与唤醒,以及清除缓存后的镜像拉取均正常。
  • 在 B 上备份与恢复;从 B 迁移到 C 后,Service IP 与归属不变,源卷保留,目标服务器保持停止。
  • 迁移期间,唤醒、文件写入、导出、世界回收与重复请求互斥;A 重启后迁移继续协调。
  • 模拟源节点失联、传输中断、目标或归档磁盘写满与读回校验失败,确认源世界仍可恢复。
  • 游戏 Pod 对其他服务器、主控、镜像仓库、宿主机端口、kubelet 与元数据服务的请求均被拒绝,且各拒绝目标对受信任的探针可达。
  • 过期、重放、跨服务器与错误操作的归档令牌均被拒绝;kubelet 无法伪造受保护的标签。
  • 故障切换:关闭 B 后按面板计划恢复到 C,确认隔离生效、丢失的进度与计划一致、恢复后的自动启动状态正确;B 重新上线后旧 Pod 已停止,重新批准前不承载世界;自动故障切换只在单个节点失联时触发。
  • 世界副本:运行中的服务器按设定间隔生成副本,玩家只感知到存档暂停,副本数量与保留期符合设定。
  • 主控高可用:在三台主控上关闭承载控制面的主控,确认控制面在另一台主控上恢复、后台任务与 operator 没有重复执行、主机定时任务随 PostgreSQL 转移、浮动地址漂移;失联主控重新上线后可恢复使用;从单主控启用高可用的迁移在真实数据上完成且原卷保留。
  • Longhorn 版本(默认 v1.8.1)在目标系统上运行正常。