偶有机会和一位AI首席科学家对话，对话记录如下：

Q：在业务分类（意图判断）方面，我们目前尝试采用大模型结合提示词进行分类判断。但在实际查询过程中，由于业务中对应用、模块的划分可能与通用业务理解存在一定差异，有时会导致分类路径走偏。针对这类隐性关联的处理，您认为以下三种方式中哪种更为合适：（1）大模型+提示词优化；（2）大模型+知识图谱；（3）训练小模型？

A： 目前建议优先采用“大模型+提示词优化”的方式。如果担心某些隐性关系难以捕捉，可将这些关系明确列举出来，并补充至提示词中。若响应时长成为瓶颈，可考虑选用响应速度更快的轻量化大模型（如Flash版本）。

关于“大模型+知识图谱”（如图检索生成GraphRAG），目前其工程稳定性尚不理想，建议先进行小范围测试，根据实际效果再决定是否深入应用。

不建议采用训练小模型的方式，主要原在于训练数据获取难度大、训练成本高，且小模型参数规模有限，泛化能力较弱，难以适应未来业务的变化。当前工业界的主流方向仍以大模型微调+提示词为主。

Q：请问您是如何理解人工智能领域的算法？能否分享一下您将算法转化为工程实践的心路历程？

A： 有时我们可能会陷入“拿着锤子找钉子”的思维，但在AI工程化实践中，更常见的思路是先明确“钉子”是什么——即具体的需求、场景或存在的badcase，再寻找匹配的算法加以解决。

例如，在我们的语音对话产品中，关键指标包括回复时效和打断体验。针对回复延迟问题，我们专门对模型进行微调，将响应时间压缩至200毫秒以内；针对打断过程中出现的噪音问题，则针对性优化相关模块。

整个过程是以问题为导向，进行端到端的闭环处理。

Q：在实际问题解决中，您通常会遵循怎样的流程来设计解决方案？在大模型选型方面，有哪些策略可以参考？

A： 面对具体问题时，首先应判断该问题是否在现有AI技术能力范围内。

在预研阶段，建议使用当前效果最优的模型（我认为GPT-4.1整体表现最佳，GPT-5在多模态识别方面稍弱，文本能力相当）进行验证。

若最优模型仍无法解决问题，则可基本判定该问题目前技术尚不可解。若验证可行，后续再结合成本、性能等实际约束，逐步优化或替换为更适合的模型，以实现效果与效率的平衡。

Last modified on 2025-09-27