FollowSkills 评估标准

一套不把热度当质量的 Skill 评估方法

FSRS 将可观察事实、可复现测试与编辑判断分开记录。总分帮助排序,维度分解释原因,证据充分度告诉你这个结论有多稳。

当前版本 FSRS-1.0方法最近更新:2026 年 7 月 15 日

四条基本原则

01

证据优先

Star、未经验证的声誉和文档精美度只能作为线索。可验证的大厂官方来源属于治理证据,但不能替代代码、权限与任务复测。

02

风险不做平均

恶意行为、隐蔽数据外传、默认破坏性操作等红线不会被其他维度的高分抵消。

03

未知就是未知

资料或测试不足时标记“证据不足”,不把缺失信息自动算成安全,也不制造精确分数。

04

评分有时效

分数对应被评估的版本与日期;仓库、依赖或平台发生重大变化后需要重新评估。

大厂官方发布如何影响评分

OpenAI、Anthropic、Microsoft、Google 等可验证官方组织能增强归属、维护责任与更新路径的可信度,只影响维护与治理判断,不设固定品牌加分。它不能推导出 Skill 一定可靠、安全或实用,也不能覆盖红线。未验证或个人发布同样不会自动扣分。

六个评分维度,共 100 分

每一维均使用 0、约半分、满分三个锚点校准;评估者必须写下扣分依据。安全性权重最高。

01任务价值与适配20

是否解决清晰、真实且足够常见的问题,并明确说明适用与不适用边界。

核心问题它为谁、在什么场景下,比通用提示词或现有工具更有价值?
评分锚点
  • 0:价值主张模糊或不可证实
  • 10:有明确场景,但优势或边界证据有限
  • 20:目标、收益、边界均清楚且可复核
02技术质量与可靠性20

指令、脚本与依赖是否自洽;关键路径是否可重复;失败时是否能安全、清楚地退出。

核心问题在声明的环境中,它能否稳定完成任务,并正确处理输入错误与失败?
评分锚点
  • 0:明显失效、矛盾或无法运行
  • 10:主流程可用,但测试或异常处理不足
  • 20:关键流程经复测,失败模式清楚且可控
03安全、隐私与控制25

权限是否最小化,外部写入与危险操作是否需要确认,敏感数据与第三方传输是否透明。

核心问题最坏情况下会影响哪些文件、账号、数据或第三方?用户能否预见并阻止?
评分锚点
  • 0:存在红线风险或刻意隐瞒
  • 12:风险可见,但权限、确认或回滚仍不足
  • 25:最小权限、明确确认、可回滚且数据流透明
04证据与可验证性15

关键声明是否有可追溯材料、可复现测试或独立使用证据;事实与推断是否分开。

核心问题一个独立评估者能否根据提供的材料重现关键结论?
评分锚点
  • 0:只有作者主张或营销文本
  • 7:有一手材料或演示,但覆盖有限
  • 15:多类证据互证,关键结论可复现
05易用性与透明度10

安装、依赖、输入输出、成本、兼容性与局限是否能让目标用户在使用前做出知情决定。

核心问题目标用户能否无需猜测地安装、试用、排错并卸载?
评分锚点
  • 0:关键使用信息缺失
  • 5:基本可用,但隐含前提较多
  • 10:从采用到退出均有清晰说明
06维护与治理10

可验证的发布者来源、许可、版本、变更记录、维护响应和依赖固定方式是否降低长期采用风险。官方企业来源可支持治理判断,但不替代测试与安全证据。

核心问题六个月后,用户还能知道自己在运行什么、由谁维护、如何安全更新吗?
评分锚点
  • 0:来源或许可不清,明显失维护
  • 5:维护活跃但治理信息不完整
  • 10:归属、许可、版本与更新机制完整

总分如何解读

90–100

高度推荐

证据充分且没有未控制的重大风险;仍需核对你的环境与数据敏感度。

75–89

推荐

整体可靠,存在已披露的局限;按说明试用并保留回滚路径。

60–74

谨慎使用

价值存在,但可靠性、证据或控制措施仍有明显缺口。

0–59

不推荐

当前收益不足以覆盖风险或不确定性。

分数旁边为什么还有“证据充分度”

同样是 82 分,完整复测与只读文档所得结论不应被同等信赖。充分度不抬高总分,只描述结论的稳健程度。

检查了 skill 内容和关键脚本,关键路径可复现,并有至少一种独立或跨来源证据。

检查了一手材料并完成部分复测,但平台、边界情况或第三方证据覆盖不全。

主要依赖静态检查、作者材料或有限演示;适合发现线索,不适合做高风险决策。

证据阶梯

我们优先采用更接近实际行为、也更容易独立复核的证据。多种证据互证比单一来源更可靠。

A

可复现行为

隔离环境中的任务复测、安全测试、失败与回滚验证。

B

可审计的一手材料

SKILL.md、脚本、依赖清单、提交记录、发行说明与许可证。

C

独立使用证据

可核验的问题报告、第三方复测、维护者对缺陷的响应。

D

弱信号

README 声明、演示、Star、下载量和社交讨论,只用于辅助判断。

!

红线与覆盖规则

出现下列任一项且无法合理消除时,状态直接标为“不推荐 / 已阻断”,无论数字总分多高:

  • 恶意代码、凭据窃取、隐蔽追踪或未披露的数据外传;
  • 默认执行不可逆或高影响操作,且没有明确确认、范围限制与恢复方案;
  • 伪造来源、测试结果、兼容性或安全声明;
  • 依赖已知严重漏洞且没有可行缓解,或要求与任务明显不相称的权限。

一次评估如何完成

01

界定主张

确认目标用户、核心任务、声明的平台、输入输出和权限边界。

02

收集证据

固定仓库版本,阅读 skill、脚本与依赖,记录证据链接和未知项。

03

风险筛查

优先检查数据流、外部写入、命令执行、密钥处理、权限与红线。

04

任务复测

在隔离环境跑代表性主流程、一个失败场景,并验证退出或回滚。

05

独立评分

按锚点逐维打分、记录扣分原因,再计算总分和证据充分度。

06

发布与复核

由第二评估者复核安全分、红线和证据充分度;公开版本、日期、维度分与风险。

这个分数不代表什么

FSRS 不是安全认证、学术同行评审或效果保证。它是对特定版本、特定测试范围内证据的结构化判断。高分不意味着适合所有用户,低风险场景的选择也可能与企业生产环境不同。最终采用前,请结合权限、数据敏感度、成本与可回滚性做自己的判断。

标准如何演进

版本号随评分维度、权重或覆盖规则的实质变化而更新。文字澄清记录为小修订。我们保留历史版本,使旧评分可解释;新版本发布后,旧评分会明确标记并进入复核队列。