一套不把热度当质量的 Skill 评估方法
FSRS 将可观察事实、可复现测试与编辑判断分开记录。总分帮助排序,维度分解释原因,证据充分度告诉你这个结论有多稳。
四条基本原则
证据优先
Star、未经验证的声誉和文档精美度只能作为线索。可验证的大厂官方来源属于治理证据,但不能替代代码、权限与任务复测。
风险不做平均
恶意行为、隐蔽数据外传、默认破坏性操作等红线不会被其他维度的高分抵消。
未知就是未知
资料或测试不足时标记“证据不足”,不把缺失信息自动算成安全,也不制造精确分数。
评分有时效
分数对应被评估的版本与日期;仓库、依赖或平台发生重大变化后需要重新评估。
大厂官方发布如何影响评分
OpenAI、Anthropic、Microsoft、Google 等可验证官方组织能增强归属、维护责任与更新路径的可信度,只影响维护与治理判断,不设固定品牌加分。它不能推导出 Skill 一定可靠、安全或实用,也不能覆盖红线。未验证或个人发布同样不会自动扣分。
六个评分维度,共 100 分
每一维均使用 0、约半分、满分三个锚点校准;评估者必须写下扣分依据。安全性权重最高。
01任务价值与适配20
是否解决清晰、真实且足够常见的问题,并明确说明适用与不适用边界。
- 0:价值主张模糊或不可证实
- 10:有明确场景,但优势或边界证据有限
- 20:目标、收益、边界均清楚且可复核
02技术质量与可靠性20
指令、脚本与依赖是否自洽;关键路径是否可重复;失败时是否能安全、清楚地退出。
- 0:明显失效、矛盾或无法运行
- 10:主流程可用,但测试或异常处理不足
- 20:关键流程经复测,失败模式清楚且可控
03安全、隐私与控制25
权限是否最小化,外部写入与危险操作是否需要确认,敏感数据与第三方传输是否透明。
- 0:存在红线风险或刻意隐瞒
- 12:风险可见,但权限、确认或回滚仍不足
- 25:最小权限、明确确认、可回滚且数据流透明
04证据与可验证性15
关键声明是否有可追溯材料、可复现测试或独立使用证据;事实与推断是否分开。
- 0:只有作者主张或营销文本
- 7:有一手材料或演示,但覆盖有限
- 15:多类证据互证,关键结论可复现
05易用性与透明度10
安装、依赖、输入输出、成本、兼容性与局限是否能让目标用户在使用前做出知情决定。
- 0:关键使用信息缺失
- 5:基本可用,但隐含前提较多
- 10:从采用到退出均有清晰说明
06维护与治理10
可验证的发布者来源、许可、版本、变更记录、维护响应和依赖固定方式是否降低长期采用风险。官方企业来源可支持治理判断,但不替代测试与安全证据。
- 0:来源或许可不清,明显失维护
- 5:维护活跃但治理信息不完整
- 10:归属、许可、版本与更新机制完整
总分如何解读
高度推荐
证据充分且没有未控制的重大风险;仍需核对你的环境与数据敏感度。
推荐
整体可靠,存在已披露的局限;按说明试用并保留回滚路径。
谨慎使用
价值存在,但可靠性、证据或控制措施仍有明显缺口。
不推荐
当前收益不足以覆盖风险或不确定性。
分数旁边为什么还有“证据充分度”
同样是 82 分,完整复测与只读文档所得结论不应被同等信赖。充分度不抬高总分,只描述结论的稳健程度。
检查了 skill 内容和关键脚本,关键路径可复现,并有至少一种独立或跨来源证据。
检查了一手材料并完成部分复测,但平台、边界情况或第三方证据覆盖不全。
主要依赖静态检查、作者材料或有限演示;适合发现线索,不适合做高风险决策。
证据阶梯
我们优先采用更接近实际行为、也更容易独立复核的证据。多种证据互证比单一来源更可靠。
可复现行为
隔离环境中的任务复测、安全测试、失败与回滚验证。
可审计的一手材料
SKILL.md、脚本、依赖清单、提交记录、发行说明与许可证。
独立使用证据
可核验的问题报告、第三方复测、维护者对缺陷的响应。
弱信号
README 声明、演示、Star、下载量和社交讨论,只用于辅助判断。
红线与覆盖规则
出现下列任一项且无法合理消除时,状态直接标为“不推荐 / 已阻断”,无论数字总分多高:
- 恶意代码、凭据窃取、隐蔽追踪或未披露的数据外传;
- 默认执行不可逆或高影响操作,且没有明确确认、范围限制与恢复方案;
- 伪造来源、测试结果、兼容性或安全声明;
- 依赖已知严重漏洞且没有可行缓解,或要求与任务明显不相称的权限。
一次评估如何完成
界定主张
确认目标用户、核心任务、声明的平台、输入输出和权限边界。
收集证据
固定仓库版本,阅读 skill、脚本与依赖,记录证据链接和未知项。
风险筛查
优先检查数据流、外部写入、命令执行、密钥处理、权限与红线。
任务复测
在隔离环境跑代表性主流程、一个失败场景,并验证退出或回滚。
独立评分
按锚点逐维打分、记录扣分原因,再计算总分和证据充分度。
发布与复核
由第二评估者复核安全分、红线和证据充分度;公开版本、日期、维度分与风险。
这个分数不代表什么
FSRS 不是安全认证、学术同行评审或效果保证。它是对特定版本、特定测试范围内证据的结构化判断。高分不意味着适合所有用户,低风险场景的选择也可能与企业生产环境不同。最终采用前,请结合权限、数据敏感度、成本与可回滚性做自己的判断。
标准如何演进
版本号随评分维度、权重或覆盖规则的实质变化而更新。文字澄清记录为小修订。我们保留历史版本,使旧评分可解释;新版本发布后,旧评分会明确标记并进入复核队列。