 徐涛
|
5baa170508
|
docs: 更新 README feature 表 + 升级指南 + 示例注释 + roadmap 同步
- README 添加 feature 组合表 + 模块级 features 清单 + 升级指南
- 18 个 example 顶部添加 Required features 注释
- roadmap.md 和 roadmap-v0.3.2.md 同步 Phase 26-27 完成状态
- cargo fmt 全量格式化（修复预存格式问题，CI format job 可通过）
|
2026-07-19 08:18:04 +08:00 |
|
|
徐涛
|
32d886f870
|
feat(memory): 新增 VectorStore 抽象与 RagPipeline 持久化管线
- 新增 src/memory/vector_store.rs（约 660 行）：
- VectorStore trait：批量 add / search / remove + add_one 默认实现
- InMemoryVectorStore：Mutex<HashMap> + 余弦全量扫描（锁内克隆、锁外计算）
- PersistentVectorStore：MemoryStore 包装，JSON blob 持久化，先持久化后内存
- RagPipeline：split → embed → store 组合器（具体 struct，非 trait）
- 22 个内联测试覆盖 InMemory（10）/ Persistent（6）/ RagPipeline（4）/ 性能基准（2）
- 性能断言：search 10K 条 <100ms，PersistentVectorStore::new 加载 <500ms
- 标记 VectorRetriever / InMemoryVectorRetriever 为 #[deprecated(since="0.3.0")]
- memory.rs 追加 VectorStore 等 4 个类型的 re-export
- document_demo 从手动 VectorRetriever 循环迁移到 RagPipeline 两行调用
- 零新增外部依赖
|
2026-07-09 16:51:29 +08:00 |
|
|
徐涛
|
d4c4d8fa3c
|
feat(document): 实现 Document 类型与 RecursiveCharacterSplitter 分割器
新增 Phase 14 核心模块，为 RAG 管线提供 split → embed 阶段的底层支撑。
新增内容：
- Document 类型（id/content/metadata/mime_type 四字段 + new/from_raw 构造器）
- RecursiveCharacterSplitter（两阶段算法：按 separator 优先级递归分割 + 贪心合并 overlap 滑动窗口）
- Embedding trait（异步向量化抽象，复用 LlmError）+ MockEmbedding（sin-hash 零依赖伪随机实现）
- 19 个 Document 单元测试 + 6 个 Embedding 单元测试
- document_demo 示例（Document → Splitter → MockEmbedding → InMemoryVectorRetriever 端到端演示）
模块注册：
- src/lib.rs: pub mod document + pub use Document
- src/llm.rs: pub mod embedding
设计文档：docs/20-phase14-document-and-embedding.md（1417 行，含背景/调研/方案对比/实施计划）
零新外部依赖，所有长度比较以 Unicode 字符为单位（chars_len），CJK 文本行为正确。
|
2026-07-09 13:08:35 +08:00 |
|