eval

OmniEval 综合代码评测技能

本技能整合了代码变更采集和第三方模型评测功能，提供完整的 SDD 流程代码质量评估。

功能说明

1. 代码变更采集：从当前 SDD 分支采集代码变更信息，生成评测所需的 JSON 文件
2. 自动评测：使用第三方评测模型对生成的代码进行质量评估
3. 结果输出：将评测结果同时输出到控制台和文件

执行流程

阶段 1：代码变更采集

调用 /eval-collector 技能：

• 自动检测当前 SDD 分支
• 扫描目标目录下的代码变更
• 提取 feature_infos 和 code_blocks
• 生成 changes/{FEATURE_DIR}/evalset/config.result.json

阶段 2：代码质量评测

调用 /eval-evaluator 技能：

• 读取 changes/{FEATURE_DIR}/evalset/config.result.json 文件
• 使用 ICE Score 和 Code Judge 指标进行评测
• 生成详细的评测报告

输入参数

自动检测当前项目的主要代码目录：

• 优先级顺序： 当前目录
• 用户可以通过参数指定特定目录来覆盖自动检测
• 评测模型：使用配置文件中指定的模型（默认 glm4.6）

输出

1. 控制台输出：显示评测进度和最终结果
2. 文件输出：changes/{FEATURE_DIR}/evalset/result.txt - 包含详细的评测报告

评测指标

ICE Score 组件

• 功能正确性 (0-1)：代码是否正确实现了需求
• 实用性 (0-1)：代码是否实用且结构良好

Code Judge 组件

• 评分 (0-1)：代码一致性和整体质量
• 不一致问题：发现的问题列表
  • 严重级别：Small, Major, Fatal
• 问题数量：发现的问题总数

综合指标

• 平均 LLM 评测指标：所有指标的综合得分

使用示例

基础用法

/eval

执行步骤：

1. 自动检测并采集当前项目的主要代码目录变更
2. 自动进行代码质量评测
3. 输出评测结果到控制台和文件

指定目录

/eval tests

执行步骤：

1. 采集 tests 目录的变更
2. 进行评测
3. 输出结果

输出模板

评测开始...

第一步：采集代码变更信息
- 当前分支: 001-TCF-5064840-vpn-service
- 目标目录: networking_zte (自动检测)
- 采集完成，生成 evalset/config.result.json

第二步：执行代码质量评测
- 使用模型: glm4.6
- 评测中...

评测结果

代码已使用 glm4.6 模型完成评测，以下是详细结果：

📊 综合评分

平均LLM评测指标: 0.83
- 功能正确性: 0.75
- 实用性: 1.0
- 代码一致性: 0.75

🔍 详细分析

功能正确性 (0.75/1.0)
优点:
- xxx

主要问题:
- xxx

实用性 (1.0/1.0)
优点:
- xxx

代码一致性 (0.75/1.0)
发现的不一致问题:
- xxx

💡 改进建议
1. xxx
2. xxx

总结：xxxx

结果已保存到: changes/001-TCF-5064840-vpn-service/evalset/result.txt

错误处理

• 分支检测失败：确保在 git 仓库中且在有效的 SDD 分支上
• 文件不存在：检查 tasks.md 和目标目录是否存在
• API 调用失败：检查网络连接和 API 配置
• 评测失败：检查输入格式和模板文件

注意事项

• 确保当前目录是 git 仓库根目录
• 需要配置有效的 LLM API 访问权限
• 评测过程可能需要几分钟，请耐心等待
• 结果文件会保存在当前分支的 evalset 目录下