agcore

xt/agcore

Fork 0

Commit Graph

Author	SHA1	Message	Date
徐涛	32d886f870	feat(memory): 新增 VectorStore 抽象与 RagPipeline 持久化管线 - 新增 src/memory/vector_store.rs（约 660 行）： - VectorStore trait：批量 add / search / remove + add_one 默认实现 - InMemoryVectorStore：Mutex<HashMap> + 余弦全量扫描（锁内克隆、锁外计算） - PersistentVectorStore：MemoryStore 包装，JSON blob 持久化，先持久化后内存 - RagPipeline：split → embed → store 组合器（具体 struct，非 trait） - 22 个内联测试覆盖 InMemory（10）/ Persistent（6）/ RagPipeline（4）/ 性能基准（2） - 性能断言：search 10K 条 <100ms，PersistentVectorStore::new 加载 <500ms - 标记 VectorRetriever / InMemoryVectorRetriever 为 #[deprecated(since="0.3.0")] - memory.rs 追加 VectorStore 等 4 个类型的 re-export - document_demo 从手动 VectorRetriever 循环迁移到 RagPipeline 两行调用 - 零新增外部依赖	2026-07-09 16:51:29 +08:00
徐涛	d4c4d8fa3c	feat(document): 实现 Document 类型与 RecursiveCharacterSplitter 分割器新增 Phase 14 核心模块，为 RAG 管线提供 split → embed 阶段的底层支撑。新增内容： - Document 类型（id/content/metadata/mime_type 四字段 + new/from_raw 构造器） - RecursiveCharacterSplitter（两阶段算法：按 separator 优先级递归分割 + 贪心合并 overlap 滑动窗口） - Embedding trait（异步向量化抽象，复用 LlmError）+ MockEmbedding（sin-hash 零依赖伪随机实现） - 19 个 Document 单元测试 + 6 个 Embedding 单元测试 - document_demo 示例（Document → Splitter → MockEmbedding → InMemoryVectorRetriever 端到端演示）模块注册： - src/lib.rs: pub mod document + pub use Document - src/llm.rs: pub mod embedding 设计文档：docs/20-phase14-document-and-embedding.md（1417 行，含背景/调研/方案对比/实施计划）零新外部依赖，所有长度比较以 Unicode 字符为单位（chars_len），CJK 文本行为正确。	2026-07-09 13:08:35 +08:00

Author

SHA1

Message

Date

徐涛

32d886f870

feat(memory): 新增 VectorStore 抽象与 RagPipeline 持久化管线

- 新增 src/memory/vector_store.rs（约 660 行）：

  - VectorStore trait：批量 add / search / remove + add_one 默认实现

  - InMemoryVectorStore：Mutex<HashMap> + 余弦全量扫描（锁内克隆、锁外计算）

  - PersistentVectorStore：MemoryStore 包装，JSON blob 持久化，先持久化后内存

  - RagPipeline：split → embed → store 组合器（具体 struct，非 trait）

- 22 个内联测试覆盖 InMemory（10）/ Persistent（6）/ RagPipeline（4）/ 性能基准（2）

- 性能断言：search 10K 条 <100ms，PersistentVectorStore::new 加载 <500ms

- 标记 VectorRetriever / InMemoryVectorRetriever 为 #[deprecated(since="0.3.0")]

- memory.rs 追加 VectorStore 等 4 个类型的 re-export

- document_demo 从手动 VectorRetriever 循环迁移到 RagPipeline 两行调用

- 零新增外部依赖

2026-07-09 16:51:29 +08:00

徐涛

d4c4d8fa3c

feat(document): 实现 Document 类型与 RecursiveCharacterSplitter 分割器

新增 Phase 14 核心模块，为 RAG 管线提供 split → embed 阶段的底层支撑。

新增内容：
- Document 类型（id/content/metadata/mime_type 四字段 + new/from_raw 构造器）
- RecursiveCharacterSplitter（两阶段算法：按 separator 优先级递归分割 + 贪心合并 overlap 滑动窗口）
- Embedding trait（异步向量化抽象，复用 LlmError）+ MockEmbedding（sin-hash 零依赖伪随机实现）
- 19 个 Document 单元测试 + 6 个 Embedding 单元测试
- document_demo 示例（Document → Splitter → MockEmbedding → InMemoryVectorRetriever 端到端演示）

模块注册：
- src/lib.rs: pub mod document + pub use Document
- src/llm.rs: pub mod embedding

设计文档：docs/20-phase14-document-and-embedding.md（1417 行，含背景/调研/方案对比/实施计划）

零新外部依赖，所有长度比较以 Unicode 字符为单位（chars_len），CJK 文本行为正确。

2026-07-09 13:08:35 +08:00

2 Commits