全部作品 / AI 开源

MITTypeScriptJavaScript

角色对话评测场chat-arena

角色对话后端的自动化评测:模拟用户对话,裁判模型逐轮打分,含记忆探针与红队人设。

类型
LLM 评测 / 自托管
技术
TypeScript、Fastify、Prisma、React
时间
2026 年
数据
协议 MIT

用大模型扮演各种用户,和被测的角色对话后端连续多轮对话,裁判模型逐轮打分,最后汇总成看板和优化报告。支持对抗人设、记忆考核和 A/B 回放,改了 prompt 或换了模型后跑一遍,就能看出变好还是变差。

实时评测:多会话并发,每轮出分
数据看板:总分、维度得分与延迟

主要功能

新建评测

新建评测

选择人设、被测角色、模拟用户模型和裁判模型,以及结束条件。

版本对比

版本对比

基线评测与新评测的总分、违规、记忆、延迟差值对比。

用户人设库

用户人设库

普通与对抗人设,可配置记忆考核和对抗策略。

AI 角色库

AI 角色库

被测后端提供的角色,含分段人设和完整系统提示词。

特色