Cookbook 审计助手
按统一规范审查 Anthropic Cookbook 笔记本并生成改进报告。
技能要求先读取 style_guide.md,并将自动检查、人工审查和报告生成分开,权限范围总体较窄;但要求运行脚本、调用 uv、detect-secrets 和外部服务,未说明数据流、敏感笔记本内容处理、用户确认、隔离或回滚,因此扣分。
工作流步骤和失败提示较明确,validate_notebook.py 对文件不存在、JSON 无效和异常有处理,且仓库提供 CI 与测试依赖;但核心路径未在技能文件中给出可复现测试证据,依赖 uv、nbconvert、detect-secrets 和目标 notebook,异常输入与工具缺失的反馈覆盖有限,按静态校准不超过10分。
触发条件明确,面向请求 notebook review/audit 的场景,且要求未提供路径时询问用户;但未声明非适用范围、输入输出边界、语义误触发条件,也未提供中文说明或中国大陆网络可达性保障,扣分。
技能名称和描述与审计能力一致,文档有清晰的指令、工作流、报告格式、检查清单和渐进式参考材料;仓库提供 MIT 许可、版本号、CI 和官方组织 provenance,但技能自身没有版本、变更记录、维护责任或更新路径,且依赖说明分散,扣分。
该技能能引导对 Cookbook notebook 进行结构化审计,并要求具体建议和行号,具有直接使用价值;但目标输出是人工报告,依赖缺失的 notebook/style guide/工具以及未执行验证,报告仍需较多人工判断,静态证据不足,按校准不超过7分。
技能引用了可审计的 style_guide.md、验证脚本、CI 工作流和仓库测试依赖,部分关键检查可追溯;但本次只进行源文件阅读,没有执行复现,且没有覆盖该技能关键路径的专门测试或第三方执行证据,因此不超过5分。
- 本评估仅基于提供的源文件,未执行 validate_notebook.py、Notebook 转换、detect-secrets 或任何测试。
- 技能要求的自动化命令可能依赖 uv、网络和未声明的运行环境;缺少目标 notebook 时只能询问路径,不能完成审计。
- 未见对笔记本中敏感数据、外部 API 调用、执行隔离、用户确认或恢复机制的具体规定。
- 仓库 CI 和测试文件属于共享上下文,不应被视为已证明该技能本身已执行或通过测试。
它能做什么 & 适用场景
此技能用于根据 style_guide.md 和评分量表审计指定的 Anthropic Cookbook 笔记本。它结合自动化检查与人工审阅,覆盖叙事质量、代码质量、技术准确性以及可操作性与理解度。输出包含总分、分项评分、关键问题、优先级建议和具体改写示例。它适合维护或改进 Cookbook 内容,但不等同于生产代码审查工具。
先读取 style_guide.md;确认待审计的笔记本路径;运行 python3 validate_notebook.py <path>,执行技术检查、生成 tmp/ 中的 Markdown,并通过 detect-secrets 检查硬编码密钥和凭据;随后审阅 Markdown 内容,按四个维度评分,并按规定格式生成审计报告。
- Anthropic Cookbook 维护者需要在发布前检查某个 Jupyter 笔记本的结构、代码和教学表达。
- 贡献者提交新示例后,需要发现缺失的学习目标、前置条件、解释文本或结论。
- 技术编辑需要依据统一 rubric 对多个 Cookbook 笔记本进行一致性评估。
- 开发者希望获得关于笔记本可执行性、依赖声明和 API 使用方式的改进建议。
优缺点一览
- 同时覆盖教学叙事、代码质量、技术准确性和行动指导。
- 包含自动化笔记本检查、Markdown 生成和密钥扫描流程。
- 提供明确的评分结构、检查清单和改进示例要求。
- 必须依赖仓库中的 style_guide.md、validate_notebook.py 和检测脚本,但材料未说明完整安装步骤。
- 自动化检查只辅助审计,最终评分仍需要人工阅读和判断。
- 没有提供测试套件、支持平台列表或审计报告示例。
如何安装
源材料未提供安装命令。使用仓库 https://github.com/anthropics/claude-cookbooks 中的 .claude/skills/cookbook-audit/SKILL.md,并保留其引用的 style_guide.md、validate_notebook.py 及相关 scripts/detect-secrets/ 文件。
如何使用
提供待审计的笔记本路径,例如:请审计 path/to/notebook.ipynb。审计流程要求先阅读 style_guide.md,然后运行 python3 validate_notebook.py <path>,阅读生成的 tmp/ Markdown,再按四项维度和指定报告格式输出结果。