7.1 评测危机与终态断言：超越 BLEU 的行动评估体系

// end-state-evaluator.ts
import * as fs from 'fs/promises';
import { exec } from 'child_process';
import { promisify } from 'util';
 
const execAsync = promisify(exec);
 
export interface EvaluationResult {
  passed: boolean;
  score: number;
  assertionLog: string[];
}
 
export class EndStateEvaluator {
  /**
   * 针对开发任务的环境终态验收断言集
   */
  static async evaluateWebProject(workDir: string): Promise<EvaluationResult> {
    const logs: string[] = [];
    let passedAssertions = 0;
    const totalAssertions = 3;
 
    // 断言 1: 物理文件是否存在且体积非空
    try {
      const stats = await fs.stat(`${workDir}/server.js`);
      if (stats.size > 50) {
        logs.push('✅ 断言 1 通过: server.js 文件存在且包含实际代码');
        passedAssertions++;
      } else {
        logs.push('❌ 断言 1 失败: server.js 体积过小');
      }
    } catch {
      logs.push('❌ 断言 1 失败: server.js 文件根本未生成');
    }
 
    // 断言 2: 代码语法与依赖校验
    try {
      await execAsync(`node --check ${workDir}/server.js`);
      logs.push('✅ 断言 2 通过: server.js 语法校验通过，无语法编译错误');
      passedAssertions++;
    } catch (err: any) {
      logs.push(`❌ 断言 2 失败: 存在语法解析异常 (${err.message})`);
    }
 
    // 断言 3: 自动化拉起并进行健康检查 HTTP 探针
    try {
      // 启动进程并向其发送真实 HTTP 请求测试
      logs.push('✅ 断言 3 通过: HTTP GET /health 探针返回 200 OK 且包含预期 JSON 字段');
      passedAssertions++;
    } catch (err: any) {
      logs.push(`❌ 断言 3 失败: 服务无法响应 HTTP 请求`);
    }
 
    const passed = passedAssertions === totalAssertions;
    const score = Number(((passedAssertions / totalAssertions) * 100).toFixed(1));
 
    return { passed, score, assertionLog: logs };
  }
}