徐涛 d4c4d8fa3c feat(document): 实现 Document 类型与 RecursiveCharacterSplitter 分割器 ...

新增 Phase 14 核心模块，为 RAG 管线提供 split → embed 阶段的底层支撑。

新增内容：
- Document 类型（id/content/metadata/mime_type 四字段 + new/from_raw 构造器）
- RecursiveCharacterSplitter（两阶段算法：按 separator 优先级递归分割 + 贪心合并 overlap 滑动窗口）
- Embedding trait（异步向量化抽象，复用 LlmError）+ MockEmbedding（sin-hash 零依赖伪随机实现）
- 19 个 Document 单元测试 + 6 个 Embedding 单元测试
- document_demo 示例（Document → Splitter → MockEmbedding → InMemoryVectorRetriever 端到端演示）

模块注册：
- src/lib.rs: pub mod document + pub use Document
- src/llm.rs: pub mod embedding

设计文档：docs/20-phase14-document-and-embedding.md（1417 行，含背景/调研/方案对比/实施计划）

零新外部依赖，所有长度比较以 Unicode 字符为单位（chars_len），CJK 文本行为正确。

2026-07-09 13:08:35 +08:00

..

1-llm-types-design.md

docs: 将方案文档从 specs 目录迁移至 docs 目录

2026-06-01 23:06:50 +08:00

2-llm-call-lifecycle.md

docs: 将方案文档从 specs 目录迁移至 docs 目录

2026-06-01 23:06:50 +08:00

3-phase0-remaining.md

feat(llm): 实现 Phase 0 剩余四个模块

2026-06-02 08:51:42 +08:00

4-prompt-engineering.md

docs(prompt): 添加提示词工程方案设计文档

2026-06-02 22:19:15 +08:00

5-tool-system.md

docs(5-tool-system): 更新工具系统方案文档，完善 Phase 2 实现细节

2026-06-07 10:23:36 +08:00

6-memory-system.md

docs(memory): 更新记忆系统方案文档

2026-06-07 23:01:28 +08:00

7-agent-runtime.md

docs(roadmap): 将 Phase 4 拆分为 4a/4b/4c 三个独立子阶段

2026-06-10 22:38:32 +08:00

8-examples-plan.md

docs: 新增示例程序方案文档

2026-06-11 22:49:27 +08:00

9-llm-provider-unified-interface.md

docs: 更新 compact 主题状态为已推演

2026-06-22 08:43:48 +08:00

9a-background-and-architecture.md

docs(llm): 新增 LLM Provider 统一接口设计文档

2026-06-15 23:07:33 +08:00

9b-ir-type-system.md

enhance(docs): 更新 system prompt 双重表达冲突推演结论为方案 D

2026-06-22 06:34:11 +08:00

9c-llm-provider-trait.md

docs: 更新方案9推演结论并调整StreamEvent设计

2026-06-17 22:55:47 +08:00

9d-provider-implementations.md

docs(9): 完善 Anthropic 流式状态机设计推演结论

2026-06-18 06:51:13 +08:00

9e-llm-cycle-and-upstream.md

enhance(docs): 补全 compact 在 IR 上的改法推演结论

2026-06-22 06:52:04 +08:00

9f-edge-cases.md

docs: 更新方案9推演结论并调整StreamEvent设计

2026-06-17 22:55:47 +08:00

9g-risk-and-migration.md

docs(llm): 新增 LLM Provider 统一接口设计文档

2026-06-15 23:07:33 +08:00

10-llm-provider-refinement.md

docs: 更新方案文档，补充 StreamEvent 迁移和 OpenaiProvider 桥接方案

2026-06-30 22:59:05 +08:00

10a-phase0-types-and-trait.md

docs: 更新方案文档，补充 StreamEvent 迁移和 OpenaiProvider 桥接方案

2026-06-30 22:59:05 +08:00

10b-phase1-provider-adaptation.md

docs(phase0): 新增 Phase 0 实施计划文档

2026-06-30 22:22:12 +08:00

10c-phase2-llm-cycle-simplify.md

docs(phase0): 新增 Phase 0 实施计划文档

2026-06-30 22:22:12 +08:00

11-v0.1-release-plan.md

docs(v0.1): 添加发布实施计划文档

2026-07-03 14:13:30 +08:00

12-phase5-warmup-implementation.md

docs(roadmap): 添加 Phase 5 warmup 实施方案

2026-07-05 07:32:19 +08:00

13-phase6-tooldef-ir.md

docs: 添加 Phase 6 ToolDefinition IR 正式化实施方案

2026-07-05 10:46:46 +08:00

14-phase7-sqlite-store.md

feat(memory): 添加 SqliteStore 持久化方案文档

2026-07-05 16:54:29 +08:00

15-phase8-mvp-integration.md

feat(core): 新增 Phase 8 MVP 集成出口方案文档

2026-07-05 21:04:31 +08:00

16-phase9-streaming-experience.md

fix(agent): Phase 9 实施审查修复

2026-07-08 23:19:24 +08:00

17-phase10-contextslot.md

feat(core): 新增 Phase 10 ContextSlot 多上下文分区管理

2026-07-06 09:46:04 +08:00

18-phase11-testing-and-retrieval.md

docs(phase11): 记录 Phase 11 方案文档与实施偏差

2026-07-06 14:53:00 +08:00

19-phase13-cleanup-and-fork-merge.md

refactor(types): request.rs 类型移入 provider/openai.rs

2026-07-08 22:55:17 +08:00

20-phase14-document-and-embedding.md

feat(document): 实现 Document 类型与 RecursiveCharacterSplitter 分割器

2026-07-09 13:08:35 +08:00

note-agent-harness-references.md

docs(roadmap): 补充 v0.2+ 扩展项与参考项目调研沉淀

2026-06-09 22:32:48 +08:00

note-agent-runtime-design.md

docs(agent): 补充 Phase 4 Agent Runtime 方案文档与设计决策记录

2026-06-09 22:32:59 +08:00

note-context-switch-design.md

docs(agent-runtime): 补充 SessionMemory 设计与多 context 切换备忘

2026-06-10 22:22:18 +08:00

note-knowledge-graph-design.md

docs: 新增知识图谱与高级检索设计文档（Phase 4 备用）

2026-06-07 22:42:49 +08:00

note-langchain-langgraph.md

docs: 添加 LangChain & LangGraph 功能调研笔记

2026-07-06 21:55:03 +08:00

note-opencode-agent-switching.md

docs: 添加 OpenCode Agent 切换机制调研笔记

2026-06-10 06:52:24 +08:00

note-opencode-subagent-dispatch.md

docs: 添加 opencode 子代理调度分发与合并机制调研笔记

2026-07-04 10:19:54 +08:00

roadmap.md

docs: 标记 Phase 13 完成 + 追加 v0.3.0 CHANGELOG 条目

2026-07-09 06:19:43 +08:00