AI应用开发者面临模型选择、输出控制和工具选型等核心问题。Chip Huyen在2024年发表的三篇文章分别从预测人类偏好与模型路由、生成配置中的温度与采样策略、以及900个热门开源AI工具的分析切入，为AI工程实践提供了参考框架。

预测人类偏好与模型路由

构建AI应用的一大挑战是选择使用哪个模型。Chip Huyen在2024年2月28日的文章中提出，预测人类偏好旨在预测用户对特定查询可能偏好哪个模型。人类偏好已成为AI模型开发的北极星和强大工具，指导RLHF和DPO等后训练技术，也被用于模型排名，如LMSYS的Chatbot Arena。

Chatbot Arena旨在确定哪个模型被普遍偏好，而Chip Huyen想探索是否可能预测每个查询被偏好的模型。模型路由是预测人类偏好的一个用例：如果提前知道对于某个提示，用户会更偏好Claude Instant的响应而非GPT-4，且Claude Instant更便宜、更快，就可以将该提示路由到Claude Instant。

模型路由有潜力在提高响应质量的同时降低成本和延迟。

预测人类偏好的另一个用例是可解释性。映射模型在不同提示上的表现有助于理解模型的优势和劣势。Chip Huyen用一个玩具偏好预测器生成了不同模型对在提示“What’s the best way to cluster text embeddings?”上的预测结果。

生成配置：温度与采样策略

ML模型具有概率性。Chip Huyen在2024年1月16日的文章中举例：如果模型认为越南菜有70%的概率是最佳菜系，意大利菜有30%的概率，那么它会有70%的时间回答“越南菜”，30%的时间回答“意大利菜”。这种概率性使AI擅长创造性任务，但也导致不一致和幻觉，对依赖事实性的任务致命。

Chip Huyen曾分析一家她提供咨询的AI初创公司3个月的客户支持请求，发现1/5的问题是因为用户不理解或不知道如何应对这种概率性。为理解AI响应为何具有概率性，需要了解模型生成响应的过程，即采样（或解码）。

文章涵盖三部分：采样策略和采样变量（包括温度、top-k和top-p）；测试时计算（增加推理计算量，如采样多个输出，以提升模型性能）；结构化输出（如何让模型以特定格式生成输出）。

900个热门开源AI工具分析

Chip Huyen在2024年3月14日的文章中重新审视了开源ML生态。四年前她曾分析过该生态，此后格局已变，这次她专注于基础模型周边的技术栈。

她在GitHub上使用关键词gpt、llm和generative ai进行搜索。仅gpt就有11.8万个结果。为简化工作，她将搜索限制在至少500星的项目，得到llm 590个、gpt 531个、generative ai 38个结果。她还偶尔查看GitHub趋势和社交媒体上的新项目。经过大量时间，她找到了896个项目，其中51个是教程（如dair-ai/Prompt-Engineering-Guide）和聚合列表（如f/awesome-chatgpt-prompts）。虽然这些教程和列表有帮助，但她更关注软件，最终分析基于845个软件仓库。

这个过程痛苦但有收获，让她更好地理解了人们在做什么、开源社区多么协作，以及中国的开源生态与西方有多么不同。2026年2月更新显示，完整的开源AI仓库列表托管在Good AI List，每日更新，已膨胀至1.5万个仓库，并支持提交缺失仓库；部分仓库也可在她的GitHub cool-llm-repos列表中找到。

后续关注点

模型路由能否从实验走向生产，取决于偏好预测的准确性和成本；采样配置的合理设置需要开发者深入理解概率性输出的影响；开源AI工具生态的快速膨胀（从896个到1.5万个仓库）意味着工具选型和维护将面临更大挑战。