175 lines (115 loc) · 4.56 KB

📘 多模态知识图谱系统（含可视化）功能需求文档

版本：v1.0
外包方：XXX 科技
编写日期：2025-08-06

一、项目目标

本系统旨在构建一个面向文本、图像、视频等多模态数据源的知识抽取与图谱构建平台，用户可通过系统上传资料，自动抽取知识实体与关系，构建结构化图谱，并通过交互式可视化界面进行浏览、分析、查询与推理辅助。

二、系统角色与权限

角色	权限说明
管理员	管理全局数据、用户、抽取模型配置等
普通用户	上传文件、查看与操作图谱
访客（可选）	浏览公开图谱，权限受限

三、功能模块设计

3.1 数据接入模块

3.1.1 数据上传

支持的文件类型：
- 文本：.txt, .pdf, .docx
- 图片：.jpg, .png, .jpeg
- 视频（可选阶段）：.mp4, .mov
批量上传支持（多文件）
文件大小限制（默认最大 100MB）

3.1.2 文件管理

显示上传历史、文件状态、文件名、时间
文件删除与重新处理功能

3.2 数据处理与抽取模块

3.2.1 文本处理

分词处理、清洗冗余符号
命名实体识别（NER）
句子级关系抽取（SPO 三元组）
概念统一与标准化（如“OpenAI”/“open ai”归一）

3.2.2 图像处理（第二阶段）

OCR 提取文字信息（如图中标注、标题）
图片中的文字送入实体/关系识别流程
支持标注图并关联原图位置（可选）

3.2.3 视频处理（第二阶段）

字幕提取（自动识别 + 支持外挂字幕）
视频关键帧截图
视频文本融合图谱

3.2.4 多模态融合（扩展阶段）

同一知识节点支持绑定多个模态资源
同一实体可通过不同模态来源补充属性/上下文

3.3 知识图谱构建模块

3.3.1 图谱节点结构

支持实体类型：人名、组织、事件、地点、概念、产品等
支持实体属性扩展（如：出生地、别名、图像、来源文档）
支持多模态属性：图片、视频片段、原始段落

3.3.2 关系结构

自定义关系类型
同一实体间可存在多条不同关系
支持时间属性

3.3.3 图谱更新逻辑

自动合并重复实体
实体消歧（用户辅助确认合并）
图谱增量构建

3.4 图谱可视化模块

3.4.1 可视化展示

节点可视化布局
实体颜色/形状区分类型
边可显示关系名称与方向

3.4.2 交互操作

拖动、缩放、搜索实体
节点详情查看
子图聚焦
节点路径探索

3.4.3 图谱筛选

实体类型筛选
按时间范围筛选
按来源文档筛选

3.5 图谱查询与分析模块（增强功能）

3.5.1 关键词查询

输入关键词返回相关实体与关系
支持模糊搜索

3.5.2 图谱语义问答（可选）

支持自然语言问答
系统返回结构化答案 + 子图高亮

3.5.3 路径发现与推理（增强）

显示两个节点之间所有路径
高亮关键路径

3.6 系统配置与管理模块

3.6.1 用户管理

创建、删除用户
分配权限与角色

3.6.2 模型与抽取配置

抽取模型切换
自定义实体/关系规则配置

3.6.3 日志与任务监控

文件处理任务进度
错误日志与重试机制

四、非功能性要求

类型	描述
性能	单文件处理 ≤ 30 秒，图谱支持 1000+ 节点
安全性	用户权限隔离，支持私有部署
扩展性	支持多模态模块接入
响应速度	页面加载 ≤ 3 秒，交互延迟 ≤ 100ms
可部署性	支持本地或服务器部署，提供 Docker 支持

五、交付物清单（初步）

Web 系统代码
图谱数据库结构初始化脚本
抽取模块配置说明
系统部署文档
用户使用手册
样例数据

六、建议交付阶段拆分

阶段	功能范围	工期建议
第一阶段	文本抽取 + 图谱构建 + 可视化	3~4 周
第二阶段	图像抽取 + 多模态融合 + 高级交互	3~4 周
第三阶段	视频抽取 + 智能问答 + 路径分析	2~3 周