分块与嵌入：RAG 流水线整合
将提取的文本进行智能分块、生成语义向量，并接入 RAG 流水线。
技能描述明确要求嵌入功能需 ONNX Runtime，并提示优雅降级（跳过嵌入），未发现隐蔽操作或过度权限。但缺少对模型下载、数据流向和敏感信息处理的明确披露，且未提供回滚方案。因此扣分。
技能提供了清晰的配置和流程，但依赖外部ONNX模型下载和系统库安装，未包含测试或错误处理细节，无法证实其可复现性。静态审查无法验证执行，故给6分。
技能适用于RAG管道集成，场景明确，边界清晰（需要ONNX Runtime，中文模型可选），触发条件明确。但对中文网络可达性无验证，且依赖海外模型下载，故扣分。
文档结构清晰，有配置示例、模型选择和关键规则，版本信息在仓库中可见，但未提供FAQ、故障排查或维护责任说明，且技能本身未说明版本。扣分。
技能描述了完整流程，但未能提供可直接使用的输出样例或验证结果，且依赖外部组件，边际价值证据有限。静态审查无法验证效果，故上限为7分。
仓库包含CI和测试文件，但技能本身未包含可执行的测试或验证步骤，无法从静态审查中独立复现。依赖外部服务和模型也降低了可验证性。
- 嵌入功能依赖ONNX Runtime和在线模型下载，需确保环境可访问HuggingFace等海外服务，否则功能不可用。
- 技能未明确说明模型下载和嵌入数据的隐私处理方式，处理敏感文档时需谨慎。
- 技能文档未提供故障排查指南，遇到嵌入失败时调试成本可能较高。
这个 Skill 能做什么，适合哪些场景？
本技能提供系统化的文本分块与嵌入生成方案，专为构建 RAG（检索增强生成）应用设计。它支持多种分块策略（固定大小、语义、语法感知、递归），并集成了 FastEmbed 的 ONNX 模型。通过预设配置（如 Balanced、Compact），用户可快速在提取流程中应用最佳实践。适用于需要将文档转换为可由向量数据库检索的块和向量的开发者。
本技能定义了一套文本处理流水线：首先对提取的文本进行归一化（清理空白和替换控制字符），然后按选定策略（固定大小、语义、语法感知或递归）进行分块，并管理块间重叠。可选地，使用 FastEmbed 调用 ONNX 模型（如 BAAI/bge-small-en-v1.5）为每个块生成向量，支持批量嵌入、模型缓存（TextEmbeddingManager）和 L2 归一化。最终输出包含文本、向量和元数据的 ChunkWithEmbedding 结构，可直接用于向量数据库或 RAG 流程。
- 构建 RAG 应用时，需要将大量 PDF 或文档文本分割成语义一致的块并生成向量。
- 为固定长度限制的嵌入模型（如 384 维向量）准备统一的输入块，避免因块长度不一而失败。
- 需要保留文档结构（如章节、代码块）以便在检索中保持上下文完整性的场景。
- 在资源受限或本地部署环境中，希望使用 CPU 推理和 ONNX Runtime 生成嵌入而无需云服务。
- 作为 Xberg 文档提取管线的一部分，将提取结果直接转换为适合向量数据库摄入的格式。
这个 Skill 有哪些优点和局限？
- 提供多种分块策略和预设，可适应不同文档类型和 RAG 需求。
- 集成 FastEmbed 和 ONNX Runtime，支持本地 CPU 推理，无需付费 API。
- 包含模型缓存和批量嵌入，注重性能优化。
- 强调嵌入归一化和缓存，有利于提高检索质量。
- 依赖 ONNX Runtime，需要额外安装配置，可能增加部署复杂度。
- 语义分块依赖相似度阈值，在特定领域文档上可能需要调优。
- 固定大小分块可能切断句子或语义边界，需谨慎设置重叠。
- 未提供完整的端到端示例代码或测试套件，实际使用需要参照源码结构。
如何安装这个 Skill？
此技能属于 Xberg 仓库的一部分。按仓库 README 安装 Xberg（例如 pip install xberg 或 cargo add xberg）。技能本身无需单独安装。
如何使用这个 Skill？
在 Xberg 的提取配置中设置 config.chunking.preset = Some("balanced") 以启用分块预设。然后调用 extract() 获取 ExtractionResult，对其内容应用分块策略（如语义或递归），再通过 TextEmbeddingManager::embed_chunks() 生成嵌入，最终得到 RagDocument。需保证 ONNX Runtime 已安装（macOS 用 brew install onnxruntime，Linux 用 apt install libonnxruntime），并确保 ORT_DYLIB_PATH 路径正确。