最近参加了几场 IT 面试。

发现一个很有意思的现象。

很多问题其实并不复杂，例如：

• DHCP 为什么采用四次握手？

• OSPF 为什么会有 DR/BDR？

• Linux 为什么需要 systemd？

• Kubernetes Pod 为什么会重建？

• Windows 域控为什么不能随便快照？

这些知识，我以前都会。

但是几年没有天天接触，很多细节已经开始遗忘。

于是我开始思考：

为什么不做一个真正属于自己的 IT AI 助手？

不是 ChatGPT。

不是 DeepSeek。

而是一个真正了解公司环境、了解自己知识体系、能够陪伴学习、还能辅助面试的 AI。

为什么选择字节大模型整合包？

目前国内部署 AI 已经非常方便。

相比过去需要自己配置推理框架、CUDA、模型下载，现在很多厂商已经提供了开箱即用的整合方案。

例如字节推出的大模型整合包，可以快速完成：

• 模型部署

• GPU 调度

• WebUI

• API 服务

• 多模型切换

几乎不用再折腾底层环境。

对于企业来说，部署成本已经低很多。

真正困难的，其实已经不是部署。

而是：

如何让 AI 真正可靠。

第一坑：AI 会骗人（Hallucination）

这是所有大模型都会遇到的问题。

例如你问：

Linux auditd 默认监听哪个端口？

AI 很可能一本正经回答：

auditd 默认监听 6030 端口。

实际上……

auditd 根本没有默认监听端口。

它完全是在胡编。

为什么？

因为 Transformer 本质是在预测：

下一个最可能出现的 Token。

它不是数据库。

不是搜索引擎。

更不是百科全书。

因此：

AI 最大的问题不是不知道，而是不知道自己不知道。

企业如何防止 AI 一本正经胡说？

目前比较成熟的方法主要有几种。

1. RAG（Retrieval-Augmented Generation）

这是目前企业最常见的方法。

流程如下：

用户提问

↓

向知识库搜索

↓

返回最相关文档

↓

把文档一起发给 AI

↓

AI 只能依据资料回答

例如：

用户：

Snipe-IT 默认数据库是什么？

↓

知识库找到：

官方文档

↓

AI

根据官方文档回答

这样能够极大降低幻觉。

企业大量采用：

• 产品文档

• Wiki

• 运维手册

• SOP

• 故障案例

作为知识库。

2. Prompt Guard（提示词约束）

例如：

你是一名企业 IT 运维助手。

只能依据知识库回答。

如果资料不存在，

必须回答：

"知识库暂无相关信息。"

禁止猜测。

禁止编造。

虽然不能完全避免幻觉，

但可以减少很多。

3. 多轮验证（Self Verification）

例如：

AI 第一次回答：

答案：
……

随后再次询问：

请检查以上回答是否存在错误。

逐条验证。

引用依据。

很多模型会主动修正。

这也是目前 Agent 常见能力。

第二坑：上下文越来越长，AI 开始失忆

很多人第一次接触大模型都会发现：

聊天几十轮以后。

AI 开始：

• 忘记前面内容

• 人设混乱

• 前后矛盾

• 回答跑偏

为什么？

因为 Transformer 有：

Context Window（上下文窗口）

例如：

32K

64K

128K

256K

超过以后。

模型就必须：

• 截断

• 压缩

• 遗忘

于是开始答非所问。

如何解决长上下文问题？

目前主流方案一般不会一直把聊天记录塞给模型。

而是采用"记忆系统"。

方法一：Conversation Summary（摘要记忆）

例如：

前100轮聊天

↓

自动总结

↓

保留摘要

↓

删除原始内容

以后：

AI 不需要阅读全部内容。

只看摘要。

OpenAI、Claude 都大量采用这种方式。

方法二：向量数据库

聊天结束以后：

自动生成 Embedding。

保存到：

• Milvus

• Qdrant

• pgvector

• Chroma

用户再次提问：

搜索：

最相关历史记录

↓

重新加载

↓

继续回答

这样：

即使半年以后。

AI 仍然能"记住"以前讨论过的问题。

方法三：Memory（长期记忆）

很多 Agent 都开始引入长期记忆。

例如：

用户：

我公司全部服务器都是 Rocky Linux。

↓

保存 Memory

以后：

无需再次说明。

AI 都知道：

默认系统：

Rocky Linux

真正做到：

越聊越聪明。

第三坑：企业知识不是聊天记录

很多企业第一次做 AI。

都会把：

聊天记录

=

知识库

其实这是错误的。

真正的企业知识包括：

• 运维手册

• Wiki

• 网络拓扑

• AD 架构

• Kubernetes 文档

• JumpServer 操作规范

• Snipe-IT 资产信息

• CMDB

• Prometheus 指标

• Grafana Dashboard

• SOP

• 故障复盘

AI 应该查询这些。

而不是聊天记录。

聊天记录只是：

Memory。

知识库才是：

Ground Truth（可信事实）。

我的设想

我准备搭建一个真正属于自己的 IT AI 助手。

它不仅能够回答：

• Linux

• Windows

• Docker

• Kubernetes

• VMware

• 网络

• AD

• Exchange

• 存储

• GPU 集群

• AI 运维

更重要的是：

它还能学习：

• 我的博客

• 企业 SOP

• 历史故障

• 运维经验

• 项目文档

• 面试笔记

随着知识不断积累。

它不会越来越"健忘"。

反而会越来越像一位经验丰富的 IT 同事。

下一步规划

接下来，我计划基于字节大模型整合包，结合现代企业 AI 技术栈，逐步完成这套系统：

• 推理层：字节大模型整合包（统一管理模型推理服务）。

• 知识库层：Markdown、PDF、Word、Wiki、企业文档自动解析。

• 检索层：RAG + 混合检索（BM25 + 向量检索），提高召回率并减少幻觉。

• 存储层：向量数据库（如 Milvus、Qdrant 或 pgvector）保存知识向量，关系数据库保存元数据。

• 记忆层：短期会话记忆 + 长期用户记忆 + 自动摘要，避免上下文过长导致语义混乱。

• Agent 层：让 AI 能调用脚本、查询 CMDB、读取资产信息，甚至执行受控运维任务。

• 安全层：提示词防护（Prompt Guard）、权限控制、敏感信息脱敏、引用来源校验，降低提示词注入和错误回答风险。

最终目标不是做一个"聊天机器人"，而是打造一位真正理解企业环境、能持续学习、能够辅助排障、文档检索和技术面试的 企业级 IT AI 助手。

写在最后

一次普通的面试，让我重新意识到：真正有价值的知识，不只是记在脑子里，更应该沉淀成可以持续积累和复用的知识体系。

今天的大语言模型已经足够强大，但企业真正需要的，并不是一个会聊天的 AI，而是一个可信、可验证、能理解业务上下文的智能助手。

未来的 IT 运维工作，也许不再是反复搜索文档、复制命令，而是把经验、流程和知识沉淀到 AI 中，让它成为团队的第二大脑。当 AI 能够准确引用知识、理解上下文、避免幻觉并持续学习时，它带来的就不仅仅是效率提升，更是企业知识资产的长期积累。

而我的目标，就是一步步把这套系统搭建出来，并在后续的博客中分享完整的部署过程、技术选型、踩坑记录以及实践经验。希望它最终不仅能帮助我准备下一次面试，也能成为团队日常运维工作中值得信赖的 AI 助手。