企业内部 AI 知识库怎么建,私有化部署到 RAG 上线

技术分享2026/11/11 02:22:18
企业AI知识库私有化部署RAG知识库知识库建设文档盘点

企业内部知识库能不能用起来,八成取决于文档整理和权限设计,模型选型只是其中一环。可行的顺序是先盘出二十来份高频文档,把密级与可见范围定死,再谈切片、检索和上线。倒过来做的项目,演示阶段都好看,三周后没人打开。

多数企业的知识库项目起步于一个演示。十几份制度文件和产品手册丢进模型,问几个问题,回答看着像那么回事,于是立项采购。三个月后翻使用记录,日活掉到个位数。

问题大多出在别处。文档有三个版本同时在库里,扫描件没有文字层。权限只做到菜单一级,检索又只认字面。这几件事任何一件都足以让工具变成摆设。

下面的顺序按实际推进排,每一步都给出判断标准,以及哪几笔钱可以不花。

先盘出二十来份文档,别急着全量导入

第一个常见错误是把网盘整个导进去。几万份文件里,过期版本、个人草稿、重复副本占了大部分。导得越全,检索结果越乱,因为同一份制度可能同时命中三个版本。

盘点要产出一张表,不是一份导入清单。表里至少六列。

列 填什么 不填的后果
文档名称 与正文标题一致,去掉最终版、修改这类后缀 命中后分不清哪份有效
存放位置 网盘路径或系统模块 更新时找不到源文件
业务负责人 具体到人,不写部门 内容错了没人认账
最近更新时间 精确到月 无法判断是否过期
密级 公开 / 内部 / 受限 权限没法配
是否含个人信息 有 / 无,含哪一类 触碰个保法义务却不知道

表里没有负责人的文档,先别进库。这类文档进了库也维护不下去,半年后就成了错误答案的来源。

第一版挑哪些,从被反复问到的那些开始。工单记录、群里的重复提问、新员工培训材料、售后常见问题,这四处能直接看出哪些内容每周被问好几次。二十到三十份足够跑通一轮,验完再扩。

判断标准很简单。一份文档如果三个月没人打开过,它进库的价值就不高。

哪些文档不该进库

有几类文档不适合放进通用知识库,进去之后权限很难兜住。

客户合同与报价、员工薪酬与绩效、身份证与银行卡影印件、未公开的诉讼与审计材料。前两类涉及商业利益,后两类落在《个人信息保护法》第二十八条的敏感个人信息范围里,该条列举了金融账户、行踪轨迹、医疗健康以及不满十四周岁未成年人的信息。

判断方法按读者定。按部门划分往往过粗,同一个部门里能看报价的也只是少数几个人。所以每份文档进库前先回答一个问题,公司里最该看到它的是哪几个人。答案是所有人的进通用库,答案是某几个人的单独建受限库,或者干脆不进。文档密级怎么划,可以借用数据分类分级那套判定方法。

《数据安全法》第二十七条要求建立全流程数据安全管理制度。文档进知识库这件事本身就该写进制度,包括谁能导、导什么、导出记录留多久。

顺带一个省钱的判断。把十年前的历史档案全部扫描识别再进库,多数项目做完会发现没人问。老档案需要的是归档保存,不是参与问答。

清洗的活比切片重,也更容易被低估

导入前的清洗决定后面的上限。常遇到的毛病有这几类。

同一份制度在三个目录里有三个版本,系统会同时检索到。处理办法是一份文档只留一个有效版本,其余标为作废并从库里移出。

扫描件没有文字层,模型读到的是一片空白。这类文件必须先做文字识别再入库,识别质量差的要人工校对关键页。

Excel 表格被解析成一行行数字,表头丢了。表格应单独成块并保留表头,否则住宿标准上限这种问题永远答不准。

页眉、页脚、页码会被切进每一个文本块,检索时全是噪声。这些要在解析阶段去掉。

流程图、签批单、照片类内容在纯文本解析里读不到。这部分要么补一段文字说明,要么明确告诉使用者库里没有。

切片按标题层级切,别按字数硬切

常见做法是每块三五百字,相邻块重叠一到两成。这两个数只是起点,切在哪里对效果影响更大。

按文档的标题层级切,每一块带上所属章节路径,比如报销制度下差旅部分里的住宿标准。这样一块内容自己知道从哪来,回答时能给出一句可核对的出处。

块太大会出问题。一块里塞了三件事,模型回答时会混着说,答案看着完整,内容却错位了。块太小也有麻烦,一句话被切断,答案缺了前提。

问答型内容适合一问一答成块。FAQ、工单回复、售后话术都属于这类,切开反而破坏对应关系。

权限要在检索这一步做完

这是最容易被做成假权限的地方。

一种常见做法是先生成答案,再检查里面有没有无权内容,有就删掉。这条路走不通。模型已经读过那份文档,答案的措辞、数字、甚至说明依据哪份文件这样的表述都会漏出来,删掉段落也遮不住。

可行做法是在向量库里给每一块打上可见范围,检索时先按用户身份过滤,再在剩下的块里算相似度。等到展示阶段再处理已经晚了,那时候内容已经进了模型的上下文。

身份要打通。用 AD 域账号或企业微信身份做统一登录,权限跟着组织架构走,员工离职当天自动失效。内网身份统一的做法可以参考企业内网访问与统一身份方案。员工日常还会用外部 AI 工具处理资料,那条边界怎么划,员工把公司资料贴进 AI 该怎么管有单独一份做法。知识库要读 ERP、OA 里的业务数据是另一件事,能不能读取决于对方开放了什么接口,AI 接入 ERP 和 OA 能到什么程度讲了这层的判断方法。

检索不能只靠向量

型号、合同编号、设备编号、人名,这类精确词在向量检索里经常失手。语义相近的块排在前面,真正含这个编号的块排在十几位之外。

比较稳的组合是混合检索。向量负责意思相近,关键词负责字面命中,两路结果合并后再用重排模型排一次序。

检索方式 擅长 失手的地方
纯向量 换个说法也能找到 编号、型号、专有名词
纯关键词 精确词一次命中 用户说法与文档不一致时全空
混合加重排 上面两类场景都能覆盖 多一层调参和算力开销

出处要给到能核对的位置。回答下面附原文片段与所在文档,点击能跳回原文。制度类问答里,没有出处的答案没人敢用,用了出事也没法追溯。

上线前先做一份能打分的问题集

没有这份东西,验收只能靠感觉,改完参数也不知道是变好还是变坏。

问题集从真实提问里抄,五十到一百条即可,不要自己编。要覆盖三类,库里能答的、库里确实没有的、需要跨两三份文档拼起来才能答的。

结果分三种记。答对是一种,答错是一种,最麻烦的是库里没有却编了一段。最后这种最伤信任,一次就够让使用者不再打开这个工具。

这份问题集是上线前的验收依据,也是之后每次调完参数的对比基准,每月回归同样用它。它比任何功能清单都更能说明系统当前的状态。

部署方式和成本口径

三种形态,判断标准是数据能不能出网。

形态 数据是否出网 初始投入 长期成本 适合的情况
纯私有化 不出内网,可离线运行 硬件加实施,一次投入 电费与日常运维 含客户个人信息或未公开财务数据
混合 敏感文档不出内网 中等 两部分叠加 一部分公开资料,一部分内部资料
云 API 全部出网 几乎为零 按调用量计费 只有公开产品资料

成本只能给口径。一台带 GPU 的服务器,整机预算通常在小几万到十几万之间,取决于显卡型号与显存大小,软件授权、实施与后续维护另算。云 API 按 token 计费,文档量大、每天调用频繁时,月账单会逐步追上硬件投入。具体数字必须按文档量、并发和模型规格现场测算,任何直接报价都不作数。

选私有化部署之前要知道它的长期成本在哪。模型大概半年到一年会出现一个值得跟的版本,内网环境升级要重新打包、重新跑一轮问题集,这件事没人做,系统就停在买来那天的水平。算力也有闲置问题,白天问答高峰和夜间空转差得很远,按峰值配机器,多数时间在耗电。

显存与参数量的换算关系,以及不同规模该配什么档位的机器,企业大模型私有化部署的配置与成本那篇给了公式和档位表,这里不重复。把上面几步打包成实施流程的样子,站内的企业私有化 AI 知识库方案有完整说明。

上线之后的运营决定它能不能活下来

系统上线那天不是终点。三件事没安排好,半年后库里的答案会和现实脱节。

文档一改,知识库要跟着动。谁改的文档谁提交更新,把这条写进流程,而不是等 IT 定期批量重导。

失效文档每季度清一次。作废的制度、过期的价格表、已经换掉的供应商联系方式,留在库里就是错误答案。

问题集每月跑一轮。命中率掉了就查原因,是文档过期,还是切片把内容切坏了。

还有一件值得看的事,日志里那些问了但没有结果的提问。它们比日活数字有用,直接告诉你库里缺什么内容。补内容还是改检索,看这些提问的分布就能判断。

几个常被问到的问题

文档量不大,几十份,还需要上系统吗。 几十份文档用文件夹加搜索也能用。知识库的价值在文档上百份、且散落在多个系统之后才开始显现,之前投入的回报有限。

能不能直接用市面上的在线知识库产品。 可以,前提是文档能出网。含客户个人信息或报价数据的文档放进去,等于把数据边界交给第三方,这一步该由业务负责人签字再定。

建好之后员工不用怎么办。 通常是答不准导致的。先看无结果提问的分布,把最常问的十来份文档补进去,再请部门负责人在实际工作里用一次,比发通知有效。

这套东西要几个人维护。 上线阶段需要一个人专门盯文档整理,之后每季度一次清理、每月一次问题集回归,半天到一天的工作量。

关键来源

更多同类内容见技术分享栏目。

政策与实操更新,一个月一两封

只发内容更新,不做群发推销。不想收了随时退订。