2023年6月至8月间,技术作者Chip Huyen先后发布两项研究成果:一份面向企业决策者的生成式AI战略框架,以及一份面向研究者的LLM开放挑战梳理。两项内容分别从落地实践与技术前沿两个维度,勾勒出当前生成式AI领域的整体图景。

企业生成式AI战略:从“领导要求”到“具体做什么”

Chip Huyen在2023年6月7日发布的《Generative AI Strategy》中,分享了其为Fully Connected大会准备的演讲“Leadership needs us to do generative AI. What do we do?”。该演讲的灵感来源于她与多位朋友的交流——这些朋友需要制定生成式AI战略,但不确定具体该做什么。

Huyen将这一演讲定位为一个探索生成式AI应用方向的简单框架。她表示,许多想法仍在完善之中,希望未来有时间将其整理成正式文章,并邀请读者分享自身经验。她同时感谢Kyle Gallatin、Goku Mohandas、Han-chung Lee和Jamie de Guerre对演讲内容的反馈。

LLM研究十大开放方向:幻觉与上下文学习最受关注

2023年8月16日,Chip Huyen发布《Open challenges in LLM research》,基于与产业界和学术界众多人士的交流,归纳出LLM研究的十大方向。她表示,从未见过如此多聪明的人为同一个目标努力——让LLM变得更好。

在这十大方向中,幻觉(hallucinations)和上下文学习(context learning)是当前讨论最多的两个方向。Huyen本人最兴奋的则是第3项多模态、第5项新架构和第6项GPU替代方案。

“I was at a panel on LLM with Dropbox, Langchain, Elastics, and Anthropic recently, and the #1 roadblock they see for companies to adopt LLMs in production is hallucination.”

关于幻觉问题,Huyen指出,幻觉是指AI模型编造内容。在许多创意用例中,幻觉是一种特性;但在大多数其他用例中,幻觉则是一个缺陷。她援引近期与Dropbox、Langchain、Elastics和Anthropic的小组讨论称,这些企业认为公司采用LLM进行生产部署的首要障碍就是幻觉。

缓解幻觉并开发衡量幻觉的指标,正成为一个蓬勃发展的研究课题,许多初创公司正聚焦于此。此外,还有一些临时性技巧可减少幻觉,例如在提示中加入更多上下文、思维链(chain-of-thought)、自洽性(self-consistency),或要求模型在回答中保持简洁。

后续关注

Chip Huyen的两项工作分别面向企业决策者和研究者。企业侧的战略框架仍处于持续完善阶段,Huyen表示希望未来将其转化为正式文章;研究侧的十大开放方向中,幻觉的度量与缓解、多模态、新架构及GPU替代方案等,预计将持续成为产业与学术界的关注焦点。