AI應用開發者面臨模型選擇、輸出控制和工具選型等核心問題。Chip Huyen在2024年發表的三篇文章分別從預測人類偏好與模型路由、生成配置中的溫度與採樣策略、以及900個熱門開源AI工具的分析切入，為AI工程實踐提供了參考框架。

預測人類偏好與模型路由

構建AI應用的一大挑戰是選擇使用哪個模型。Chip Huyen在2024年2月28日的文章中提出，預測人類偏好旨在預測用戶對特定查詢可能偏好哪個模型。人類偏好已成為AI模型開發的北極星和強大工具，指導RLHF和DPO等後訓練技術，也被用於模型排名，如LMSYS的Chatbot Arena。

Chatbot Arena旨在確定哪個模型被普遍偏好，而Chip Huyen想探索是否可能預測每個查詢被偏好的模型。模型路由是預測人類偏好的一個用例：如果提前知道對於某個提示，用戶會更偏好Claude Instant的響應而非GPT-4，且Claude Instant更便宜、更快，就可以將該提示路由到Claude Instant。

模型路由有潛力在提高響應質量的同時降低成本和延遲。

預測人類偏好的另一個用例是可解釋性。映射模型在不同提示上的表現有助於理解模型的優勢和劣勢。Chip Huyen用一個玩具偏好預測器生成了不同模型對在提示“What’s the best way to cluster text embeddings?”上的預測結果。

生成配置：溫度與採樣策略

ML模型具有概率性。Chip Huyen在2024年1月16日的文章中舉例：如果模型認為越南菜有70%的概率是最佳菜系，意大利菜有30%的概率，那麼它會有70%的時間回答“越南菜”，30%的時間回答“意大利菜”。這種概率性使AI擅長創造性任務，但也導致不一致和幻覺，對依賴事實性的任務致命。

Chip Huyen曾分析一家她提供咨詢的AI初創公司3個月的客戶支持請求，發現1/5的問題是因為用戶不理解或不知道如何應對這種概率性。為理解AI響應為何具有概率性，需要瞭解模型生成響應的過程，即採樣（或解碼）。

文章涵蓋三部分：採樣策略和採樣變量（包括溫度、top-k和top-p）；測試時計算（增加推理計算量，如採樣多個輸出，以提升模型性能）；結構化輸出（如何讓模型以特定格式生成輸出）。

900個熱門開源AI工具分析

Chip Huyen在2024年3月14日的文章中重新審視了開源ML生態。四年前她曾分析過該生態，此後格局已變，這次她專注於基礎模型周邊的技術棧。

她在GitHub上使用關鍵詞gpt、llm和generative ai進行搜索。僅gpt就有11.8萬個結果。為簡化工作，她將搜索限制在至少500星的項目，得到llm 590個、gpt 531個、generative ai 38個結果。她還偶爾查看GitHub趨勢和社交媒體上的新項目。經過大量時間，她找到了896個項目，其中51個是教程（如dair-ai/Prompt-Engineering-Guide）和聚合列表（如f/awesome-chatgpt-prompts）。雖然這些教程和列表有幫助，但她更關注軟件，最終分析基於845個軟件倉庫。

這個過程痛苦但有收穫，讓她更好地理解了人們在做甚麼、開源社區多麼協作，以及中國的開源生態與西方有多麼不同。2026年2月更新顯示，完整的開源AI倉庫列表托管在Good AI List，每日更新，已膨脹至1.5萬個倉庫，並支持提交缺失倉庫；部分倉庫也可在她的GitHub cool-llm-repos列表中找到。

後續關注點

模型路由能否從實驗走向生產，取決於偏好預測的準確性和成本；採樣配置的合理設置需要開發者深入理解概率性輸出的影響；開源AI工具生態的快速膨脹（從896個到1.5萬個倉庫）意味著工具選型和維護將面臨更大挑戰。