把 AI 接进航校课程生产。重做整套工作方式。

老师做课很慢，编辑器只是其中一个问题。

原来的平台有三个入口：老师做课程，学员上课，航司管理员看培训结果和导出报告。老师接到航司需求后，要去翻航司手册、SOP、运行通告、旧 PPT、本地文件和网页资料，然后再一点点整理成章节、题目和讲师备注。

我和架构师一起把旧系统画了一遍。前端是 React，后端是 Java/Spring，课程、学员和报表数据主要放在 PostgreSQL，附件放对象存储。最大的问题是，课程正文只是一大段富文本 HTML。系统根本不知道哪句话来自哪份手册、适用于哪家航司、哪个机型、哪个岗位，也不知道这道题在考哪个学习目标。

只听老师说“编辑器不好用”，很容易把问题缩小成按钮和布局。

我跟着 10 名老师做了 8 门真实课程，也访谈了教学质控、航司培训经理和研发。因为旧系统几乎没埋点，我们先用数据库时间戳、页面访问日志、课程版本差异和质控退回记录拼出一个大概流程，然后再补了 23 个关键事件。

数据告诉我们，最严重的掉点不在“写正文”，而在“资料收集完之后，不知道下一步怎么组织”。新老师会开很多网页。资深老师常复用旧课件。前者找不到资料，后者容易用错版本。

我们先做了一个技术小实验，看看哪种 AI 方案真的值得继续。

我和机器学习工程师、教学质控、数据分析师一起做了一套小型评估集。里面有 60 份培训需求、4 家航司的脱敏资料、240 个权威知识片段、480 个课程块和 160 道题。我的工作是把“好课程”拆成一套可共同打分的标准。

这个结果直接影响了设计。流程改成两步：先生成大纲和知识缺口，老师确认方向后，再按章节生成内容。这样一旦方向错了，不用等整门课生成完才发现。

我们要求模型按固定结构返回课程块

老师觉得“太省事了”，但数据说明他们没有认真检查。

第一版上传资料后会直接生成完整课程。测试时 8 位老师说体验很好，可是 78% 的人没有打开过来源。更危险的是，有 4 段内容引用了旧版本资料，老师还是直接接受了。

所以我们把“AI 正在生成”拆成一套真正的系统状态。每个状态都对应真实后端状态、错误码、埋点和下一步操作。

我不写后端代码，但需要知道数据怎么走。

资料上传以后，系统不会直接把文件丢给大模型。它会先检查权限，再解析 PDF、PPT、Word 和网页，提取版本、生效日期、航司、机型、岗位和保密等级。搜索前先排除用户无权查看和已经过期的内容。

系统会同时做关键词搜索和语义搜索。搜到候选内容后，再由一个排序模型把最相关的片段放到前面。最后只把少量、最相关、并且有权限的内容交给生成模型。

这些技术细节会直接影响体验。资料切得太大，老师看不出到底哪一句支持了生成内容；切得太小，又会丢掉前后逻辑。一次取太多搜索结果，会变慢，也更容易出现互相冲突的内容。

我们先找行为异常，再决定怎么改产品。

课程发布后，学员数据才能说明它是否真的有效。

我们把学习目标 ID、课程块 ID、题目 ID 和课程版本连起来。这样就能知道：学员在哪一段停留久、哪里会反复重播、哪道题总答错、哪个知识点经常需要补训。

这些行为不会直接进入生产模型。因为答错不一定说明内容错，也可能是题目有歧义、岗位差异太大，或者课程讲得不够清楚。先由老师和质控判断原因，再决定要不要进入评估集。

数据又帮我们发现一个问题：AI 生成的题目看起来很完整，但太简单。它经常把原文直接改成正确答案，再随便凑几个明显不对的选项。第一版题目平均区分度只有 0.12。

后来我们要求每道题绑定学习目标、岗位情境和“常见误解”。错误选项不能乱编，而要对应真实的错误理解。改完以后，题目区分度提高到 0.31，质控重写率也从 46% 降到 24%。

我们还发现，互联网资料只占候选内容的 27%，却贡献了 68% 的来源修正。所以系统后来明确区分：互联网内容可以做背景、案例和延伸阅读，但程序和标准必须来自航司或监管机构批准的资料。

我们分阶段扩大 AI 的使用范围。

第一阶段只开放资料解析、来源地图和大纲；第二阶段开放服务类和地面理论课程；第三阶段才开放题目和讲师备注。应急程序、执照评定和模拟机检查课程不在首版范围。

系统用 Feature Flag 控制谁能用：可以按航司、教师、课程类型和风险级别开关。这样某个模型版本有问题时，不需要整个平台一起回退。

我们也提前写好“什么时候必须停”。比如跨航司资料误召回必须是 0；高风险内容的来源支持率低于 95% 就关闭；质控退回连续两周上涨，就比较模型、提示词和索引版本；某类题目让学员表现明显变差，就暂停对应模板。

设计师不必代替工程师，但要理解 AI 系统。