就在刚刚，阿谁掌管OpenAI安全的北大学友，OpenAI酌量副总裁（安全）翁荔，辞职了。
翁荔是OpenAI华东说念主科学家、ChatGPT的孝敬者之一。
北大毕业后，翁荔在2018年加入OpenAI，自后在GPT-4技俩中主要参与预测验、强化学习和对皆、模子安全等方面的责任。
最闻明的Agent公式也由她建议，即：Agent=大模子+挂牵+主动酌量+器具使用。
而就在前不久，她还刚刚现身2024 Bilibili 超等科学晚行为，发表了《AI安全与“培养”之说念》的主题演讲。
在她晓示辞职音信之后，包括OpenAI在内的无边同事发来了道喜：
翁荔的辞职信
在推文中，翁荔也分享了他跟团队作念的终末的说念别。
以下为辞职信的齐备实质。
亲爱的一又友们：
我作念出了一个十分重荷的决定，将于11月15日离开OpenAI，这将是我在公司终末一天。
OpenAI是我成长为科学家和率领者的地点，我将弥远爱戴在这里与每一位同事的伙伴渡过的时光。OpenAI团队一直是我的亲信、导师以及我身份的一部分。
我仍然谨记2017年头加入OpenAI时的那份有趣和热心。那时咱们是一群怀抱着不成能与科幻改日梦思的东说念主。
我在这里发轫了我的全栈机器东说念主挑战之旅——从深度强化学习算法，到感知，再到固件开荒——推断打算是训导一个浮浅的机械手如何解开魔方。这破耗了通盘这个词团队两年时辰，但最终咱们到手了。
当OpenAI干与GPT领域时，咱们发轫探索如何将最先进的AI模子期骗于施行全国。我建立了第一个期骗酌量团队，推出了运转版块的微调API、镶嵌API和审核端点，为期骗安全责任奠定了基础，还为早期的API客户开荒了好多新颖的惩处决议。
在GPT-4发布后，我被条款承担新的挑战，重新探讨OpenAI的安全系统愿景，并将通盘责任网络到一个致密通盘这个词安整体系的团队。
这是我资格过的最不毛、最垂危又令东说念主兴盛的事情之一。如今，安全系统团队领有卓越80位出色的科学家、工程师、技俩司理、战略巨匠，我为咱们当作一个团队所获取的一切成就感到极为显示。
咱们见证了每次发布的中枢——从GPT-4偏激视觉和Turbo版块，到GPT Store、语音功能以及01版块。咱们在测验这些模子以达到负包袱和有利的推断打算上培植了新的行业圭臬。
我绝顶为咱们最新的成就o1预览版感到显示，它是咱们迄今为止最安全的模子，展现了出色的抗破解才能，同期保执了模子的灵验性。
咱们的集体成就令东说念主贯注：
咱们测验模子如何处理明锐或不安全的苦求，包括何时拒却或不拒却，并通过除名一套明确的模子安全行动战略，结束安全与实用之间的高超均衡。
咱们在每次模子发布中升迁了抵抗性鲁棒性，包括针对破解的驻扎、教唆脉络结构，并通过推理大幅增强了鲁棒性。
咱们遐想了严格且蹧跶创意的测试智商，使模子与《准备框架》保执一致，并为每个前沿模子进行了全面的安全测试和红队测试。
咱们在详确的模子系统卡中强化了对透明性的答应。
咱们开荒了业内最先的审核模子，具有多口头才能，并免费向公众分享。咱们现时在一个更通用的监控框架和增强安全推理才能的方朝上责任，将赋能更多的安全责任流。
咱们为安全数据日记、度量、仪容盘、主动学习管说念、分类器部署、推理时辰过滤以及一种新的快速反应系统奠定了工程基础。
转头咱们所获取的成就，我为安全系统团队的每一个东说念主感到无比显示，并极为深信这个团队将持续蕃昌发展。我爱你们。
在OpenAI的七年之后，我准备好重新登程，探索一些新的领域。OpenAI正沿着火箭般的轨迹前进，借钱炒股我至心祝愿这里的每一个东说念主一切到手。
附注：我的博客将持续更新。我省略会有更多时辰来更新它 & 可能也会有更多时辰编写代码 。
爱你们的，
Lilian
铁打的OpenAI，活水的安全主宰
自OpenAI树立以来，安全主宰这个要害职位历经屡次更迭。
最早在2016年，OpenAI的安全主宰由达里奥·阿莫代伊（Dario Amodei）担任，在他的率领下，安全系统团队专注于减少现存模子和居品的亏损风险，尤其是围绕GPT-3的安全性开展了深入酌量。
阿莫代伊主导了GPT-3的全面安全评估，以确保模子在发布前经由严格的安全测试和评估，最大截止地镌汰潜在的亏损风险。
他在OpenAI的责任为自后东说念主工智能的安全管束奠定了紧要基础。
2021年，阿莫代伊离开OpenAI创立了Anthropic公司，持续奋发于于东说念主工智能的安全酌量，推动构建更具真的度和安全性的AI模子。
在阿莫代伊之后，还有旋即任职2个月的安全主宰，亚历山大·马德里（Aleksander Madry）。
他在任时候主要聚焦对新模子的才能进行评估，并开展里面红队测试，以识别柔软解潜在的安全风险。
诚然他的任期较短，但他在红队测试和胁迫展望上的紧要股东，为OpenAI的安全奉行提供了新的视角和智商论。
在2023年7月后，马德里转而专注于“AI推理”方面的责任，离开了安全主宰的职位。
在他之后的第三位安全主宰，则是杨·莱克（Jan Leike），在2023年7月至2024年5月担任这一职务，和Ilya一说念率领“超等对皆”技俩，推断打算是在四年内惩处超智能AI的对皆问题。
在此时候，杨·莱克推动了使用微型模子监督和评估大型模子的酌量，始创了对超东说念主类才能模子进行实证对皆的新智商。
这种智商对于相识和应酬高档东说念主工智能模子的行动具有深刻影响。
相关词，由于与公司在安全和居品优先级上的不对，杨·莱克于2024年5月晓示辞职。
尽管如斯，他在对皆酌量方面的孝敬，为后续东说念主工智能的可控性酌量奠定了表面和奉行基础。
而翁荔则是于2024年7月担任OpenAI安全主宰。
对于翁荔
翁荔是OpenAI华东说念主科学家、ChatGPT的孝敬者之一，本科毕业于北大，在印第安纳大学伯明顿分校攻读博士。
毕业之后的翁荔先是旋即的在Facebook实习了一段时辰，第一份责任则是接事于Dropbox，担任软件工程师。
她于2018年加入OpenAI，在GPT-4技俩中主要参与预测验、强化学习和对皆、模子安全等方面的责任。
在OpenAI前年底树立的安全照应人团队中，翁荔率领安全系统团队（Safety Systems），惩处减少现存模子如ChatGPT亏损等问题。
翁荔在Google Scholar的援用量也达到了13000+次。
此前她建议的建议LLM外皮幻觉（extrinsic hallucination）的博文也长短常火爆。
翁荔重心关注外皮幻觉，商议了三个问题：产生幻觉的原因是什么？幻觉检测，阻截幻觉的智商。
对于酌量的细节，不错点击这里检验：万字blog详解阻截概念、产幻原因和检测式样。
至于翁荔辞职后的行止，量子位也会保执执续的关注。
参考相连：
[1]https://x.com/lilianweng/status/1855031273690984623
[2]https://www.linkedin.com/in/lilianweng/