7.3 裁判员模型与偏差校准：LLM-as-a-Judge 落地规范

// llm-judge-calibrated.ts
import { OpenAI } from 'openai';
 
export interface PairwiseResult {
  winner: 'model_a' | 'model_b' | 'tie';
  confidence: number;
  reasoning: string;
}
 
export class CalibratedLLMJudge {
  private client = new OpenAI();
 
  /**
   * 执行带双向位置对调校准的成对比较
   */
  async evaluatePairwise(prompt: string, answerA: string, answerB: string): Promise<PairwiseResult> {
    console.log('[LLM Judge] 启动第一轮裁判：A 在前，B 在后...');
    const round1 = await this.singleJudgement(prompt, answerA, answerB);
 
    console.log('[LLM Judge] 启动第二轮反向裁判：B 在前，A 在后 (消除位置偏差)...');
    const round2 = await this.singleJudgement(prompt, answerB, answerA);
 
    // 校准逻辑：
    // 如果第 1 轮认为 前者(A) 胜，第 2 轮也必须认为 后者(A) 胜，才算有效胜出
    const round2WinnerMapped = round2.winner === 'model_a' ? 'model_b' : round2.winner === 'model_b' ? 'model_a' : 'tie';
 
    if (round1.winner === round2WinnerMapped && round1.winner !== 'tie') {
      console.log(`[LLM Judge] 双向裁判自洽验证通过！胜出者: ${round1.winner}`);
      return {
        winner: round1.winner,
        confidence: 0.95,
        reasoning: `双向对调一致认同: ${round1.reasoning}`,
      };
    }
 
    console.warn('[LLM Judge] 双向判定存在分歧或平局 (位置对调后结果反转)，裁定为平局 (Tie)！');
    return {
      winner: 'tie',
      confidence: 0.5,
      reasoning: '受到位置偏差影响或两者水平极其接近，无法形成压倒性定论。',
    };
  }
 
  private async singleJudgement(prompt: string, candidate1: string, candidate2: string): Promise<{ winner: 'model_a' | 'model_b' | 'tie'; reasoning: string }> {
    const systemInstruction = `
你是一位极其严苛客观的中立专家评委。
请依据【精准度】、【逻辑严密性】与【回答简洁度】对如下两个候选回答进行评判。
严禁偏袒字数冗长的回答！
请务必遵循：先在 reasoning 中阐述分析两者的优劣对比，最后在 winner 字段输出 'model_a'（候选 1 胜）、'model_b'（候选 2 胜）或 'tie'（平手）。
请严格输出 JSON 格式。
`;
 
    const userContent = `
【用户任务提示词】: ${prompt}
 
【候选 1 回答】:
${candidate1}
 
【候选 2 回答】:
${candidate2}
`;
 
    const response = await this.client.chat.completions.create({
      model: 'gpt-4o',
      response_format: { type: 'json_object' },
      messages: [
        { role: 'system', content: systemInstruction },
        { role: 'user', content: userContent },
      ],
      temperature: 0,
    });
 
    const parsed = JSON.parse(response.choices[0].message.content || '{}');
    return { winner: parsed.winner || 'tie', reasoning: parsed.reasoning || '' };
  }
}