不外，其实不像传说的那样——“弱智吧8项测试第一，远超知乎豆瓣小红书”“竟成最好中文AI锻炼数据”科技批评

　　不外，其实不像传说的那样——“弱智吧8项测试第一，远超知乎豆瓣小红书”“竟成最好中文AI锻炼数据”科技批评。实践上，在Yi-34B大模子上表示上佳的，不纯真是“弱智吧”。详细来讲，弱智吧只奉献了个题目。

　　别的，《中国科学报》理解到，这支研讨团队的均匀年齿只要20多岁，大多为在读硕士生和博士生。他们常常光临知乎、豆瓣、小红书等平台，固然也少不了“弱智吧”。

　　不外，也恰是研讨团队对“弱智吧”数据的特别操纵，在论文内容发酵后激发了相干人士对尝试成果的质疑。

　　“没想到这个事情‘出圈’了，但网上存在一些错曲解读，比若有人拿这个研讨讥讽‘知乎不如弱智吧’。”作为论文配合第一作者，白岳霖报告《中国科学报》，这篇文章的作者来自国表里多个顶尖机构，“思索到团队学术名誉与社会影响，这些误读有须要廓清一下”。

　　论文提到，研讨团队搜集了“弱智吧”上点赞数最多的500个帖子，并利用这些帖子的题目作为指令，利用GPT-4天生响应的复兴。而关于由GPT-4天生的复兴，研讨团队还停止了野生考核、优化与挑选，并终极得到了240对（指令，呼应）样本。利用这240对样本锻炼过的Yi-34B大模子，在Belle-Eval测试集上录得高分。

　　但是，这项事情烦琐庞大，不只要去各个平台“爬取”高质量的内容数据科技批评，还需求使用各类手艺手腕洗濯、考核，事情量十分大，需求齐心协力。因而，该事情的作者团队就达20人。

　　在这项事情中，作者团队构建了一个包罗4万多条高质量数据的中文指令微调数据集，并将其开源给研讨机构、企业等各方，为中文NLP社区供给了贵重的资本。

　　《中国科学报》进一步理解到，这群年青人从2023年11月起动手该研讨，仅用了不到4个月就完成了险些局部事情。云云高服从的表示，他们是如何构造合作的？

　　“很多读者误觉得我们利用‘弱智吧’网友的批评锻炼大模子就可以够到达很好的结果，究竟上，我们仅保存了弱智吧帖子的题目。”白岳霖说：“尝试成果其实不克不及代表弱智吧，由于数据实践上相称于多方（网友、作者们和大模子体系）协同机关的。”

　　以具有大批高质量用户消费内容的知乎为例，研讨团队设置了“高赞答复”等挑选前提，经内容过滤、评分后，即接纳得分较高的原内容。

　　论文通信作者有关科技的案牍、加拿大滑铁卢大学博士生张舸进一步向《中国科学报》注释：“‘弱智吧’中网友们挖空心思想出来的‘弱智成绩’，确实为大模子供给了角度清奇的高质量指令。可是帖子的答复，却有许多冲犯性表述以至究竟性毛病，很多答复就是抖机警、玩梗的，而GPT-4的答复根本上都‘很端庄’，颠末野生挑选根本上能获得较为牢靠的答复。”

　　“获得流量并非我们的初志，我们也偶然哗众取宠，更没有方案或摆设任何宣扬内容科技批评，我们的初志只是想冷静为中文NLP（天然言语处置）社区奉献些高质量数据集；对平台‘跑分’的尝试本意，是想察看各平台数据关于测试集合各使命都有哪些影响。”白岳霖注释说。

　　团队中，除来自中国科学院深圳先辈手艺研讨院的白岳霖外，另有来自中国科学院主动化研讨所、中国科学手艺大学、北京大学、加拿大滑铁卢大学、曼彻斯特大学等顶尖机构的成员，因而这项事情被网友们戏称为是国表里研讨天团“为了开辟出合适中国宝宝体质的AI”之作。

　　经由过程挑选搜集，构建出具有应战性的、实在的中文语料互动数据，关于锻炼和评价狂言语模子了解和施行中文指令的才能而言，无疑是极具代价的。最间接地，将有益于削减大模子在答复中呈现“幻觉”（模子在输出文本时呈现的一些其实不契合究竟或知识的内容）。

　　网友纷繁跟帖批评：“这把‘弱智吧’上大分”“深藏若虚”“‘弱智吧’才是人类面临AI的最初一道碉堡”。

　　至于为什么只要“弱智吧”子集不包罗网友批评，正如前述所提到的，也是出于“弱智吧”部门网友批评经判定达不到锻炼言语模子的答复质量尺度，因而决议从头机关答复。而利用GPT-4帮助机关答复，则次要是为了尽能够削减人力投入。白岳霖同时暗示，曾经留意到有关评价成见的成绩，他们方案鄙人一版论文更新中“弥补野生评价尝试”。

　　有质疑者提出：来自知乎、豆瓣等平台的别的子数据集采样了原内容和网友批评，只要“弱智吧”的子数据集完整不包罗网友的批评、而是接纳了GPT-4分解的答复——如许的答复较着更完美、精确、多样，且终极来评分的竟然仍是GPT-4。“既当活动员又当评判员，Evaluation bias（评价成见）不会爆炸吗？用这类操纵误导公家、获得流量，是否是有点过于不松散了？”

　　张舸报告《中国科学报》，“手搓”一个通用的、高质量的中文指令微调数据集，需求做大批挑选、查抄和调优的事情，“是个膂力活儿”，能追求机械帮手确当然不会放过。

　　另有一些诙谐讲话角度清奇：“生鱼片是死鱼片”“等红灯是在等绿灯”“咖啡因来自咖啡果”“救火是在灭火”“指南针次要是指北”“小明翻开水龙头是由于开水龙头烫到了小明的手”……

　　白岳霖和他的小同伴们其实想不到，他们近来做的中文指令微调数据集，会由于利用了百度贴吧“弱智吧”的帖子相干数据而火爆“出圈”。

　　相形之下，研讨团队仅利用弱智吧帖子的题目作为锻炼大模子的指令，完整没有包罗网友的回帖和批评，而是利用GPT4帮助野生机关了复兴谜底。

　　要指出的是，除“弱智吧”以外，知乎、小红书、豆瓣、百科等滥觞的数据，研讨团队并没有借助GPT-4去天生答复，而是接纳严厉的数据过滤，最大水平保存收集中人类撰写的高质量内容。

　　因为对“弱智吧”数据的“区分看待”在传布中很难被存眷到，吃瓜大众很简单就对这项事情发生了误读，以为仅利用“弱智吧”的内容就可以将大模子锻炼出远超其他平台的结果。

　　白岳霖是中国科学院深圳先辈手艺研讨院三年级硕士生。他的团队在题为“COIG-CQIA: Quality is All You Need for Chinese Instruction Fine-tuning”的研讨中，利用“弱智吧题目+GPT-4答复”微调后的大模子评价成果科技批评，超越了他们搜集的其他有监视微调（SFT）指令集数据相关科技的案牍。后者来自包罗知乎、百科、豆瓣、小红书等交际平台。对此科技批评，业内助士暗示“看论文看到哈哈大笑”。

　　谈及倡议这项研讨的初志，他报告《中国科学报》，海内涵有关中文指令微调数据集方面，今朝还没有质量出格好的开源项目，个体项目也只是“委曲能用”，因而萌发了给业界供给一个完整开源的、包罗中文交际媒体数据等在内各类滥觞的、能够间接微调大模子的数据集的设法。

　　白岳霖进一步谈到：“我们的尝试成果也不克不及完整代表互联网中的各个平台，任何干于平台对峙的感情都不是我们想要讨论大概期望看到的。”

　　“我们一切项目标目的，都是可以做出来一些好工具开源给各人用。”张舸说，开源社区具有高校院所和企业所不具有的灵敏性和地道性，此次中文指令微调数据集（CQIA）的事情，就是在M-A-P社区倡议、逐渐会聚了国表里科研力气完成的。

　　“弱智吧”是百度贴吧的一个子论坛。在这个论坛中，用户常常公布包罗双关语、多义词、因果颠倒调和音词等具有应战性的内容，许多内容设想有逻辑圈套，即便对人类来讲也颇具应战。

　　“由于我们的目的是构建契合大模子指令微调质量需求的数据，而贴吧中网友的批评凡是分歧适间接作为微调数据，因而我们并未将‘弱智吧’网友的批评归入我们的数据中。”白岳霖报告《中国科学报》。

　　他报告记者，在M-A-P社区，各人倡议一个课题后，就追求协作者一同做；假如触及到一些资本需求，各人会和科技公司等洽商，公司若情愿投入资本，能够一同协作、配合开辟。但条件是，项目完成以后有关科技的案牍，公司除保存一些私有资本外，必需将项目功效同享给开源社区科技批评。

　　当他们决议“手搓”一个高质量的中文指令微调数据集时，“弱智吧”相干语料天然地成为他们的一个挑选。

　　“我们创立了一个努力于多模态AI的开源社区—— M-A-P（Multimodal Art Projection）有关科技的案牍，没有线下实体、没有任何红利目标，只需能来一同干事情，我们就欢送。”张舸引见说，两年多前，他和几位小同伴因一个音乐类大模子锻炼项目走到了一同，配合兴办了M-A-P。以后，伴侣、伴侣的伴侣、伴侣的伴侣的伴侣……感爱好参加的小同伴愈来愈多，就构成了一个有不变奉献的开源社区。