哥也色中文娱乐网惊掉下巴！被字节告状800万实习生，拿下NeurIPS 2024最好论文

发布日期：2024-12-05 22:18 点击次数：179

这篇获奖论文，正巧等于他在字节交易化时代部门实习时代与团队联结发表的点击收听本新闻听新闻

哥也色中文娱乐网

太戏剧了！报复字节磨真金不怕火集群的实习生，简直刚刚得到了NeurIPS 2024最好论文奖？天然看起来像爽文剧情，但这位高材生接下来的路，应该是难走了。

刚刚，坏心报复字节磨真金不怕火集群的实习生田柯宇，得到了NeurIPS 2024的最好论文奖。

更巧的是，这篇获奖论文，正巧等于他在字节交易化时代部门实习时代与团队联结发表的。

以致，这篇论文照旧NeurIPS 2024第六高分的论文（7，8，8，8）。

事情在网上曝出的时候，网友们王人震恐了：太有戏剧性了，这是什么短剧的大回转剧情！

根据网友的说法，田柯宇的这篇论文亦然本年国内第二篇NeurIPS Best Paper，含金量很高。

在此之前，他就也曾有多篇论文中稿顶会。

比如被引次数最多的「Designing BERT for Convolutional Networks: Sparse and Hierarchical Masked Modeling」，等于ICLR 2023的Spotlight。此外还有，NeurIPS 2021和2020的Poster，ECCV 2020的Poster。

据新智元了解，字节交易化时代团队早在昨年就把视觉自追溯模子手脚遑急的商讨倡导，团队联想了VAR为高优技俩，参加商讨小组和渊博资源。

除了VAR，团队还发表了LlamaGen等联系时代论文，新的商讨服从也将在近期不时放出。

事件始末：坏心注入代码，投毒模子磨真金不怕火

回看整件事情，可谓回转又回转。

两个月前，圈内东说念主王人被这么一条讯息惊掉下巴：「字节高出大模子磨真金不怕火被北大实习生报复，亏欠辽远」。

什么仇什么怨，要作念这么的事？

网友们扒出来，事情缘起是这位北大高材生在字节实习时代对团队感到起火，一气之下遴荐了「投毒」。

具体来说，他期骗了Huggingface的load ckpt函数粗心，craft了一个看似正常的ckpt文献，但其实是加了payload进去，然后就不错辛苦践诺代码，修改参数了。

这种报复形式，不错通过修改或注入坏心代码，使模子在加载时被更变模子权重、修改磨真金不怕火参数或截取模子数据。

根据大V「Jack Cui」预计，这位实习生所用的大约等于这个要领，注入代码动态修改别东说念主的optimer，修改参数梯度的倡导，以及在各式场所飞快sleep了一小段时候。

修改梯度倡导，意味着模子反向传播经过入彀算出的梯度被更变，就导致模子一直朝造作的倡导优化；而sleep操作，也会显着裁汰模子磨真金不怕火的速率。

以致有东说念主提到，该实习生可能修改了我方的预磨真金不怕火模子，因为模子参数是用ckpt文献保存的，其他东说念主磨真金不怕火时会加载这个注入坏心代码的ckpt文献，因此也会导致模子磨真金不怕火出问题。

就在全网叹为不雅止之时，田本东说念主却出来「辟谣」称这事和我方不首要——他发完论文后也曾从字节去职了，此时有另一个东说念主钻了粗心修改模子代码，然后趁他去职把锅扣在他头上。

刘涛李晨车震

适度一个多月后，此事再一次迎来回转。

有媒体报说念称，法院也曾细密受理字节高出对前实习生田某某的告状。

法院判令田某某抵偿侵权亏欠800万元及合理开销2万元，同期要求其公开赔礼说念歉。

字节官方也贯通说，涉事实习生破损的是团队商讨技俩，并不影响交易化细密技俩，也不波及字节高出大模子等其他业务。

最终，这位实习生被字节除名，交由校方处置。

贵寓泄漏，田柯宇本科毕业于北航软件学院，商讨生就读于北大，师从王立威教师，商讨酷好酷好为深度学习的优化与算法。

自2021年起，运行在字节高出实习商讨，具体包括超参数优化、强化学习算法、自监督的新式算法。

卓著扩散，VAR开启视觉自追溯模子新范式

这项商讨中，他们建议了一种全新范式——视觉自追溯建模（Visual Autoregressive Modeling，VAR）。

论文地址：https://arxiv.org/abs/2404.02905

与传统的光栅扫描「下一个token斟酌」要领有所不同，它重新界说了图像上的自追溯学习，给与粗到细的「下一个圭臬斟酌」或「下一个分袂率斟酌」。

这种简便直不雅的要领使得自追溯（AR）Transformer能够快速学习视觉散布，而况具有较好的泛化才气：VAR初次使得访佛GPT的AR模子在图像生成中卓著了扩散Transformer。

现时，自追溯模子（AR）主要用于谈话模子从左到右、逐字步调生成文本token。同期，也用于图像生成中，即以光栅扫描的步调从左到右，从上到下步调生成图像token。

不外，这些AR模子的scaling law未得到充分的探索，而且性能远远逾期于扩散模子，如下图3所示。

与谈话模子所取得成立比较，计较机视觉中的自追溯模子的苍劲才气却被「阻难」了起来。

而自追溯建模需要界说数据的步调，北大字节团队商讨中重新计划了奈何「排序」图像：东说念主类时常以分层形式感知或创建图像，最初拿获全局结构，然后拿获局部细节。

这种多圭臬、由从粗到细的履行，为图像提供了一种「秩序」。

同样，受到平素使用的多圭臬联想的启发，商讨东说念主员将图像的自追溯学习界说为图2(c)中的「下一个圭臬斟酌」，不同于传统图2(b)中的「下一个token的斟酌」。

VAR要领最初将图像编码为多圭臬的token映射，然后，自追溯经过从1×1token映射运行，并冉冉膨胀分袂率。

在每一步中，Transformer会基于之前通盘的token映射去斟酌下一个更高分袂率的token映射。

由此，商讨东说念主员将此称为视觉自追溯建模（VAR）。

VAR包括两个平稳的磨真金不怕火阶段：在图像上磨真金不怕火多圭臬VQVAE，在token上磨真金不怕火VAR Transformer。

第一阶段，多圭臬VQ自动编码器将图像编码为K个token映射R=(r_1，r_2，…，r_K)，并通过复合亏欠函数进行磨真金不怕火。

第二阶段，通过下一圭臬斟酌对VAR Transformer进行磨真金不怕火：它以低分袂率token映射 ([s]，r_1，r_2，…，r_K−1)手脚输入，斟酌更高分袂率的token映射 (r_1，r_2，r_3，…，r_K)。磨真金不怕火经过中，使用精真金不怕火力掩码确保每个r_k仅能缓和 r_≤k。磨真金不怕火指标给与法式的交叉熵亏欠函数，用于优化斟酌精度。