Step 5 Preview 部署指南：600B MoE 大模型的硬件选型、推理优化与应用实践

Step 5 Preview 部署指南：600B MoE 大模型的硬件选型、推理优化与应用实践

600B 总参数、27B 激活参数、百万 Token 上下文，阶跃星辰的新一代旗舰模型究竟需要什么硬件？如何完成本地部署？又适合哪些 AI Agent 应用？

2026 年 10 月 15 日，阶跃星辰（StepFun）正式开放 Step 5 Preview 模型权重。

作为一款面向智能体（Agent）工作的旗舰大语言模型，Step 5 Preview 并没有单纯追求参数规模，而是围绕软件工程、长周期任务执行、多模态理解和专业知识工作进行了重点优化。对于开发者而言，这款模型值得关注的不仅是其 600B 级别的参数规模，还有其 MoE 架构、长上下文处理能力，以及对工具调用和自动化任务的支持。本文将从模型技术特点出发，重点讨论实际部署需要考虑的硬件资源、推理框架、运行成本和典型应用场景。

一、Step 5 Preview：模型核心技术特点

1.1 模型基本信息

Step 5 Preview 采用稀疏混合专家架构（Mixture of Experts，MoE）。其核心参数如下：

1.2 为什么采用 MoE 架构？

传统稠密模型（Dense Model）在每次推理时，通常需要执行全部主要模型参数对应的计算。而 MoE 模型将部分网络组织为多个专家模块，通过路由机制选择部分专家参与当前 Token 的计算。Step 5 Preview 具有：

• 600B 总参数量

• 27B 激活参数量

• 稀疏专家路由机制

这意味着，在单个 Token 的推理过程中，模型只需激活其中一部分参数参与计算。其主要优势在于：

第一，降低单 Token 的计算需求。

相比相同总参数规模的稠密模型，MoE 可以显著减少实际参与计算的参数量。

第二，提高模型容量。

通过引入大量专家模块，模型能够在保持稀疏计算的同时扩展整体参数规模。

第三，适合复杂任务。

MoE 架构可以为复杂的软件工程、专业知识分析和多步骤智能体任务提供更大的模型容量。

不过，这里存在一个容易被误解的问题：27B 激活参数并不意味着只需要加载 27B 参数。即使每个 Token 只激活部分专家，在常规 GPU 推理部署中，仍然需要为完整模型权重提供足够的存储空间。因此，Step 5 Preview 虽然计算过程具有稀疏性，但部署门槛仍然属于大型数据中心级别。

二、硬件配置：600B 模型究竟需要多少显存？

对于希望自行部署 Step 5 Preview 的开发者来说，硬件是首先需要解决的问题。模型参数超过 600B，因此显存需求远高于普通消费级显卡能够承担的范围。

2.1 理论显存需求

模型权重显存可以通过以下公式进行粗略计算：

权重存储量 ≈ 参数量 × 单参数字节数

以 600B 参数计算：

以上均为十进制理论估算值，不包含量化元数据、混合精度权重、模型运行缓存以及框架开销。其中 INT4 仅用于说明低比特量化的理论收益，不代表官方已经提供对应的 INT4 检查点或经过验证的部署方案。此外，实际推理还需要额外空间存储：

1. KV Cache

2. 中间激活值

3. CUDA Runtime 与计算工作区

4. 推理框架运行状态

5. 并发请求缓存

因此，实际所需显存通常高于权重理论大小。

2.2 官方推荐硬件配置

根据 StepFun 提供的部署方案，目前主要配置如下：

Transformers 方案主要面向离线推理，官方提供了 8×H200 FP8 和 16×H200 BF16 配置。这些是官方给出的参考部署组合，不代表每种配置都能同时达到最大上下文长度和最高并发性能。

2.3 推荐选择什么硬件？

方案一：企业级在线推理

GPU：4 × NVIDIA B300
模型：Step 5 Preview FP8
框架：vLLM / SGLang
部署：单节点

该方案适合：

• 企业级 AI Agent 平台

• 软件开发智能体

• 大规模知识处理

• 复杂工作流自动化

B300 提供大容量显存和高带宽，可以为模型权重、KV Cache 及推理缓存提供更充足的资源。如果希望在保证推理能力的同时降低 GPU 数量，这是一种值得优先评估的官方部署方案。

方案二：已有 H200 集群的团队

GPU：8 × NVIDIA H200
模型：Step 5 Preview FP8
框架：vLLM / SGLang
部署：单节点

H200 具有较成熟的 CUDA 软件生态，适合已经具备 GPU 服务器资源的研发团队。不过，对于 MoE 模型来说，跨 GPU 通信效率非常重要。实际部署时，应重点关注 GPU 互联拓扑、显存使用率以及张量并行和专家并行的通信开销。

方案三：科研与高精度实验

GPU：16 × NVIDIA H200
模型：Step 5 Preview BF16
框架：vLLM / Transformers
部署：双节点

BF16 保留了更高的数值精度，但权重存储需求也明显增加。这类部署更适合有专项算力预算的科研机构和企业模型实验室。BF16 不应被简单理解为在所有任务上都必然比 FP8 更准确，实际差异需要通过具体任务评测确认。

2.4 消费级显卡可以部署吗？

如果使用 RTX 4090、RTX 5090 或普通 Mac 设备，部署完整的 Step 5 Preview 原始权重并不现实。原因主要包括：

• 模型权重规模过大

• 单卡显存不足

• 多 GPU 通信要求较高

• 推理过程中还需要额外缓存

理论上，可以探索低比特量化、CPU 内存卸载和分层加载等技术，但这些方法可能显著影响推理速度。更重要的是，不能将理论上能够加载部分权重，等同于已经具备稳定、实用的部署方案。

三、模型部署：使用 vLLM 构建推理服务

Step 5 Preview 官方支持通过 vLLM 构建兼容 OpenAI API 的推理服务。vLLM 适用于高吞吐模型服务，支持请求批处理、KV Cache 管理和分布式推理。以下以官方的 4×B300 FP8 部署方案为例。

3.1 环境准备

建议提前准备：

操作系统：Linux
GPU：4 × NVIDIA B300
驱动：与部署镜像兼容的 NVIDIA Driver
容器环境：Docker + NVIDIA Container Toolkit
推理框架：Step 5 Preview 专用 vLLM 镜像

部署之前需要确认 GPU 能够被系统正常识别：

nvidia-smi

如果无法查看 GPU 信息，需要先检查驱动和容器运行环境。

3.2 下载官方推理镜像

执行：

docker pull vllm/vllm-openai:step-5-preview

该镜像提供了 Step 5 Preview 所需的专用推理框架环境。与直接安装普通版本 vLLM 相比，使用官方指定镜像可以减少模型结构不兼容的问题。

3.3 启动 Docker 容器

docker run --rm -it \
  --gpus all \
  --ipc=host \
  --network=host \
  --volume "$HOME/.cache/huggingface:/root/.cache/huggingface" \
  --entrypoint /bin/bash \
  vllm/vllm-openai:step-5-preview

这里有几个关键参数：

以上命令适用于可信的专用 GPU 服务器环境。在共享服务器中，应根据安全要求调整 IPC、网络和容器权限配置。如果模型检查点需要 Hugging Face 身份验证，则应在启动推理服务之前完成登录。

3.4 启动 FP8 推理服务

以下是官方 B300 TP4 方案的核心启动命令：

export CUDA_VISIBLE_DEVICES=0,1,2,3

vllm serve stepfun-ai/Step-5-Preview \
  --host 0.0.0.0 \
  --port 18000 \
  --served-model-name "step5" \
  --tensor-parallel-size 4 \
  --data-parallel-backend mp \
  --distributed-executor-backend mp \
  --disable-custom-all-reduce \
  --max-model-len 1048576 \
  --max-num-batched-tokens 16384 \
  --max-num-seqs 64 \
  --gpu-memory-utilization 0.85 \
  --enable-prefix-caching \
  --spec-method mtp \
  --spec-tokens 3 \
  --reasoning-parser step5 \
  --enable-auto-tool-choice \
  --tool-call-parser step5

3.5 TP、EP、DP 应该怎么选择？

Step 5 Preview 支持多种并行策略。

对于 MoE 架构，专家并行具有重要意义。不同 GPU 可以负责不同专家模块的计算，从而提高分布式计算资源的利用效率。不过，专家并行也会带来额外的通信开销。因此，究竟选择 TP、TEP 还是 DEP，应根据 GPU 数量、互联拓扑、并发请求规模和实际吞吐测试决定。对于首次部署，建议先参考官方对应硬件的配置完成验证，再逐步调优。

四、使用 SGLang 部署 Step 5 Preview

除了 vLLM，官方还提供了 SGLang 部署方案。SGLang 是面向大语言模型和多模态模型的推理服务框架，支持分布式推理及多种运行优化机制。

4.1 拉取镜像

docker pull lmsysorg/sglang:step-5-preview

需要确保容器运行环境具有 GPU 访问权限。

4.2 启动模型服务

以下为官方 4×B300 配置中的示例参数：

export CUDA_VISIBLE_DEVICES=0,1,2,3

python -m sglang.launch_server \
  --trust-remote-code \
  --model-path stepfun-ai/Step-5-Preview \
  --served-model-name step5 \
  --tp 4 \
  --ep-size 4 \
  --moe-runner-backend flashinfer_trtllm \
  --moe-a2a-backend megamoe \
  --attention-backend fa4 \
  --page-size 64 \
  --kv-cache-dtype bfloat16 \
  --mem-fraction-static 0.9 \
  --swa-full-tokens-ratio 0.03 \
  --chunked-prefill-size 16384 \
  --max-running-requests 64 \
  --cuda-graph-backend-prefill breakable

这里展示的是官方配置中的关键参数。实际启动还应使用官方对应硬件的完整命令，确认镜像版本、模型文件以及其余配置要求。其中：

• --tp 4：使用四卡张量并行。

• --ep-size 4：配置专家并行规模。

• --moe-a2a-backend megamoe：选择对应的 MoE 通信实现。

• --chunked-prefill-size 16384：配置分块预填充规模。

• --max-running-requests 64：限制同时运行的请求数量。

4.3 vLLM 与 SGLang 如何选择？

两者都可以作为 Step 5 Preview 的推理服务框架。如果主要目标是快速接入已有 OpenAI API 生态，可以优先评估 vLLM。如果希望进一步研究 MoE 执行效率、缓存优化和不同并行方式，也可以评估 SGLang。

五、模型推理：如何调用 Step 5 Preview？

完成模型部署后，可以通过兼容 OpenAI 的接口调用模型。

5.1 使用 cURL 测试

以 vLLM 服务为例：

curl http://127.0.0.1:18000/v1/chat/completions \
  -H "Content-Type: application/json" \
  -d '{
    "model": "step5",
    "messages": [
      {
        "role": "user",
        "content": "请介绍 MoE 模型架构的优势"
      }
    ],
    "max_tokens": 4096,
    "stream": true
  }'

如果服务正常运行，就能够获得模型的流式响应。需要注意，此处地址表示服务器本机。如果从其他设备访问，应使用实际服务器地址，并配置身份认证和必要的网络访问控制。

5.2 Python 调用

Step 5 Preview 可以使用 OpenAI Python SDK 调用。

# 首先安装：
pip install openai

from openai import OpenAI

client = OpenAI(
    base_url="http://127.0.0.1:18000/v1",
    api_key="EMPTY"
)

response = client.chat.completions.create(
    model="step5",
    messages=[
        {
            "role": "system",
            "content": "你是一名专业的软件架构师。"
        },
        {
            "role": "user",
            "content": "请设计一个支持多租户的AI Agent平台。"
        }
    ],
    temperature=1.0,
    top_p=0.95,
    max_tokens=4096
)

print(response.choices[0].message.content)

这里的 EMPTY 仅适用于没有启用 API 密钥校验的本地测试服务。正式部署时，应使用真实认证机制，避免推理接口被未经授权的用户调用。

5.3 推荐推理参数

官方推荐的基础推理参数如下：

其中，top_k 和推理强度的具体设置方式，需要根据推理框架或托管 API 的支持情况确定。官方公布的相关评测结果主要使用高推理强度配置。因此，不应直接将高推理强度下的模型表现等同于所有默认推理配置下的实际效果。

5.4 通过魔搭 API 调用

对于没有 B300 或 H200 服务器的开发者，可以使用魔搭社区提供的模型推理服务。

# 示例：
from openai import OpenAI

client = OpenAI(
    base_url="https://api-inference.modelscope.cn/v1",
    api_key="<MODELSCOPE_TOKEN>"
)

response = client.chat.completions.create(
    model="stepfun-ai/Step-5-Preview",
    messages=[
        {
            "role": "user",
            "content": "分析微服务架构的优缺点"
        }
    ],
    stream=True
)

for chunk in response:
    if chunk.choices:
        content = chunk.choices[0].delta.content

        if content:
            print(content, end="", flush=True)

魔搭社区提供在线推理入口，具体额度、计费规则及服务可用性以平台实时说明为准。

因此，涉及企业内部代码、客户信息及敏感文件时，应先评估服务的数据处理规则。

六、推理优化：百万 Token 上下文如何真正发挥价值？

Step 5 Preview 的百万 Token 上下文能力，是其重要技术特点之一。但对于实际部署来说，长上下文并不意味着越长越好。

6.1 长上下文为什么消耗大量显存？

Transformer 推理过程需要保存历史 Token 对应的注意力缓存，即 KV Cache。KV Cache 的内存需求通常会随着上下文长度增长而增加。例如：

输入长度：
8K → 32K → 128K → 1M

随着上下文长度增加，模型需要管理更多历史状态。与此同时，还需要考虑注意力实现、缓存精度以及模型自身的结构优化。Step 5 Preview 使用了适用于长上下文的注意力设计，但即便如此，超长上下文仍然会占用大量计算和内存资源。

6.2 实际部署建议

在没有完成长上下文压力测试之前，可以采用分阶段验证策略：

这些测试长度是工程验证建议，不代表官方逐项保证的运行规格。

6.3 降低推理成本的方法

对于长期运行的 Agent 服务，可以重点考虑：

① 前缀缓存

当多个请求复用系统提示词或相同文档上下文时，使用缓存减少重复计算。

② 分块 Prefill

将较长的输入预填充过程划分为多个计算块，改善资源调度。

③ 合理控制上下文长度

不是所有任务都需要使用百万 Token。普通问答、代码解释和文本分析可以从较短上下文开始。

④ 优化并行策略

根据硬件互联和服务负载选择 TP、EP 或组合策略。

⑤ 推测解码

在框架支持的情况下使用 MTP 等机制，提高特定场景下的生成效率。实际优化时，应重点关注：

TTFT：首 Token 延迟

TPOT：每输出 Token 时间

Throughput：系统吞吐量

GPU Memory：显存占用

Concurrency：并发处理能力

这些指标能够帮助开发者判断模型服务是否真正满足业务需要。

七、应用领域：Step 5 Preview 适合做什么？

Step 5 Preview 的核心定位是面向复杂任务的智能体模型。相比单纯的聊天问答，它更值得在需要工具调用、持续推理和多步骤执行的场景中进行测试。

7.1 AI 编程与软件工程

这是 Step 5 Preview 的重点应用方向之一。典型场景包括：

• 大型代码仓库分析

• 跨文件代码修改

• 代码重构

• 单元测试生成

• 软件缺陷定位

• 前端页面开发

• 自动化开发任务

在具备相应工具权限的情况下，Agent 可以围绕代码仓库进行多步骤处理：

用户提出需求
      ↓
分析项目目录
      ↓
读取核心源代码
      ↓
识别模块依赖
      ↓
定位潜在问题
      ↓
提出修改方案
      ↓
执行测试与验证
      ↓
输出分析报告

不过，模型本身并不具备直接操作任意文件系统的能力。实际文件读写、代码执行以及测试运行仍然需要由外部工具和 Agent 框架提供。

7.2 长周期 Agent 任务

传统大模型应用往往围绕单轮输入与输出展开。而复杂 Agent 工作流需要模型反复执行：

Planning
   ↓
Tool Calling
   ↓
Execution
   ↓
Observation
   ↓
Reflection
   ↓
Next Action

Step 5 Preview 针对这类任务进行了重点优化。

这样的任务不仅需要较强的推理能力，还依赖模型在多次工具调用过程中保持目标一致性。需要注意，长周期执行的可靠性还受到 Agent 框架、工具质量、错误恢复机制和权限管理的影响。

7.3 专业知识研究

Step 5 Preview 可用于处理复杂专业资料。例如：

• 学术论文阅读与总结

• 跨文档信息提取

• 研究资料分析

• 数据表格理解

• 图表内容分析

• 研究报告生成

对于学术研究 Agent，可以将模型作为推理核心，与文献检索、PDF 解析、数据分析和引用管理工具组合使用。通过外部工具获取可靠信息，再由模型完成结构化分析与内容组织。

7.4 金融数据分析

金融领域是官方特别强调的方向。典型应用包括：

• 财务报表分析

• 企业经营数据解读

• 财务指标比较

• 金融文件信息提取

• 风险因素整理

• 投研资料辅助分析

例如：

企业年报
   ↓
财务数据提取
   ↓
指标计算
   ↓
历史数据比较
   ↓
风险因素识别
   ↓
生成分析报告

其中，财务指标计算应尽量交给 Python、SQL 或专业计算工具执行。模型更适合承担任务规划、信息组织、分析解释和报告生成工作。涉及投资决策时，仍需进行数据核验和专业判断，不能直接将模型输出作为决策依据。

7.5 多模态文档理解

Step 5 Preview 还面向图像、截图、图表及视频理解等任务进行了能力设计。例如：

用户上传一张软件系统架构图，希望模型解释系统中的模块关系。或者上传多页财务报表截图，要求分析关键经营指标。

因此，具体视频输入格式、单次输入限制以及托管服务是否开放相关功能，需要以对应 API 文档为准。

八、部署路线选择：个人开发者与企业有什么不同？

实际使用 Step 5 Preview，不一定需要自行部署模型。可以根据业务规模、数据敏感性和算力预算选择不同路线。

8.1 个人开发者

推荐路线：

Step 5 Preview API
        ↓
OpenAI SDK
        ↓
Agent Framework
        ↓
业务应用

优点：

• 不需要购买高端 GPU

• 无需维护推理服务器

• 可以快速进行模型能力验证

• 适合开发原型和实验项目

对于个人开发者，这是更现实的起点。

8.2 小型研发团队

推荐采用混合模型架构：

用户请求
    ↓
任务分类
    ↓
模型路由
    ├── 简单任务 → 小型模型
    │
    ├── 常规任务 → 中型模型
    │
    └── 复杂任务 → Step 5 Preview

在实际系统中，没有必要将所有任务都交给 600B 级模型。例如：

简单文本分类、格式转换和数据提取，可以由成本较低的模型处理。复杂代码分析、长文档推理和长周期 Agent 工作，则可以调用 Step 5 Preview。

通过这种模式，可以在任务质量、推理延迟和运行成本之间建立更合理的平衡。

8.3 企业级部署

对于具有数据治理需求和稳定业务负载的企业，可以考虑：

业务应用层
      ↓
API Gateway
      ↓
身份认证与权限控制
      ↓
Agent Orchestration
      ↓
Model Serving
      ↓
vLLM / SGLang
      ↓
GPU Cluster

这种架构可以进一步引入：

• 请求限流

• 用户权限隔离

• 推理日志

• 任务队列

• 缓存管理

• 模型监控

• 服务健康检查

• 故障恢复

企业在部署之前还需要评估峰值并发、推理成本、数据合规以及许可证条件。

九、模型许可证与部署注意事项

Step 5 Preview 采用 StepFun Model License 1.0。官方将其描述为具有 Apache-2.0 风格的模型许可证，但同时包含特定的署名要求及商业许可条件。因此，不能直接将其等同于 Apache-2.0。对于希望开展商业部署、模型再分发或衍生模型开发的团队，应仔细阅读仓库中的许可证文件。此外，在实际部署过程中，还需要注意以下问题。

9.1 检查模型精度

FP8 和 BF16 的模型检查点不同。部署时必须确认下载的模型版本与推理配置匹配。

9.2 确认框架版本

Step 5 Preview 使用了模型专用的推理与工具调用支持。部署时优先使用官方明确支持的构建版本。

9.3 预留 KV Cache 空间

不要按照模型权重大小直接配置全部显存。运行时缓存、并发请求和 CUDA 工作区都需要额外资源。

9.4 验证实际性能

不要仅根据模型参数量判断其性能。建议使用真实业务任务，对代码生成、工具调用、长文档理解和多轮执行进行针对性评测。

9.5 保障 Agent 执行安全

对于允许模型执行命令或修改代码的系统，建议实施工具权限隔离、操作审计和高风险操作确认机制。模型推理能力越强，越需要清晰的执行边界。

十、总结：Step 5 Preview 值得部署吗？

Step 5 Preview 是一款定位明确的大型智能体模型。它的价值并不仅在于 600B 参数规模，而在于将长上下文、稀疏 MoE、工具调用与复杂任务执行能力组合到统一模型之中。从工程角度看，可以得出几个结论。

第一，模型能力与部署成本需要同时考虑。

虽然每个 Token 仅激活约 27B 参数，但完整模型依然需要非常可观的权重存储空间。

第二，个人开发者更适合优先选择 API。

对于缺少大型 GPU 集群的开发者，直接调用 API 更有利于快速验证应用价值。

第三，企业部署应重点关注整体推理效率。

GPU 数量、并行策略、KV Cache、请求并发和工具调用效率，都会影响最终的服务成本。

第四，Agent 是这款模型值得重点探索的方向。

软件工程、专业研究、财务数据分析和自动化工作流，都具有进一步验证的价值。从技术发展趋势来看，大模型的竞争正在逐渐从单轮问答能力扩展到复杂任务的持续执行能力。