evals

type BatchConfig struct {
	// TestCases 测试用例列表
	TestCases []*BatchTestCase
	// Scorers 评分器列表
	Scorers []Scorer
	// Concurrency 并发数（默认: 1，顺序执行）
	Concurrency int
	// StopOnError 遇到错误时是否停止（默认: false）
	StopOnError bool
	// ProgressCallback 进度回调函数（可选）
	ProgressCallback func(completed, total int)
}

type BatchEvalResult struct {
	// Results 所有测试用例的结果
	Results []*BatchResult `json:"results"`
	// Summary 汇总统计
	Summary *BatchSummary `json:"summary"`
	// TotalDuration 总执行时间
	TotalDuration time.Duration `json:"total_duration"`
}

type BatchResult struct {
	// TestCaseID 测试用例ID
	TestCaseID string `json:"test_case_id"`
	// Scores 所有评分器的结果
	Scores []*ScoreResult `json:"scores"`
	// Duration 执行时间
	Duration time.Duration `json:"duration"`
	// Error 错误信息（如果有）
	Error string `json:"error,omitempty"`
	// Metadata 测试用例的元数据
	Metadata map[string]any `json:"metadata,omitempty"`
}

type BatchSummary struct {
	// TotalCases 总测试用例数
	TotalCases int `json:"total_cases"`
	// SuccessfulCases 成功的用例数
	SuccessfulCases int `json:"successful_cases"`
	// FailedCases 失败的用例数
	FailedCases int `json:"failed_cases"`
	// AverageScores 各评分器的平均分
	AverageScores map[string]float64 `json:"average_scores"`
	// AverageDuration 平均执行时间
	AverageDuration time.Duration `json:"average_duration"`
}

type BatchTestCase struct {
	// ID 测试用例ID
	ID string `json:"id"`
	// Input 评估输入
	Input *TextEvalInput `json:"input"`
	// Metadata 可选的元数据
	Metadata map[string]any `json:"metadata,omitempty"`
}

type KeywordCoverageConfig struct {
	// Keywords 需要在答案中出现的关键短语
	Keywords []string
	// CaseInsensitive 是否大小写不敏感(默认: true)
	CaseInsensitive bool
}

type KeywordCoverageScorer struct {
	// contains filtered or unexported fields
}

type LLMScorer struct {
	// contains filtered or unexported fields
}

type LLMScorerConfig struct {
	// Provider LLM提供商（用于评分）
	Provider provider.Provider
	// Name 评分器名称
	Name string
	// Prompt 评分提示词模板
	Prompt string
	// MaxTokens 最大token数（默认: 500）
	MaxTokens int
	// Temperature 温度（默认: 0，更确定性）
	Temperature float64
}

type LexicalSimilarityConfig struct {
	// MinTokenLength 参与比较的最小 token 长度(过滤掉太短的词,默认: 2)
	MinTokenLength int
}

type LexicalSimilarityScorer struct {
	// contains filtered or unexported fields
}

type ScoreResult struct {
	// Name 评估名称,如 "keyword_coverage", "lexical_similarity"
	Name string `json:"name"`
	// Value 得分,范围通常在 [0,1]
	Value float64 `json:"value"`
	// Details 额外信息,如匹配到的关键词列表
	Details map[string]any `json:"details,omitempty"`
}

type Scorer interface {
	Score(ctx context.Context, input *TextEvalInput) (*ScoreResult, error)
}

type TextEvalInput struct {
	// Answer 待评估的模型输出
	Answer string `json:"answer"`
	// Context 可选的上下文(如参考资料、提示信息等)
	Context []string `json:"context,omitempty"`
	// Reference 可选参考答案/期望输出,用于相似度比较
	Reference string `json:"reference,omitempty"`
}