风君子博客5月21日消息，上周，一个名为“im-also-a-good-gpt2-chatbot”的神秘模型突然现身大模型竞技场LMSYS Chatboat Arena，排名直接超过GPT-4-Turbo、Gemini 1 .5 Pro、Claude 3 0pus、Llama-3-70b等各家国际大厂的当家基座模型。随后OpenAI揭开“im-also-a-good-gpt2-chatbot”神秘面纱——正是GPT-4o的测试版本，OpenAI CEO Sam Altman也在Gpt-4o发布后亲自转帖引用 LMSYS arena 盲测擂台的测试结果。
时隔一周，美国时间2024年5月20日刚刷新的 LMSYS Chatboat Arena 盲测结果最新更新的排名中，这次排名飞速上涨的模型是由中国大模型公司零一万物提交的“Yi-Large” 千亿参数闭源大模型。该结果来自至今积累超过 1170万的全球用户真实投票数。
全球榜
此次LMSYS Chatboat Arena共有44款模型参赛，在最新排名中，零一万物的最新千亿参数模型 Yi-Large 总榜排名世界模型第7，中国大模型中第一，已经超过Llama-3-70B、Claude 3 Sonnet；其中文分榜更是与GPT4o 并列世界第一。
中文榜
值得一提的是，排名前6的模型分别归属于海外巨头 OpenAI、Google、Anthropic，零一万物位列全球第四机构，且GPT-4、Gemini 1.5 Pro等模型均为万亿级别超大参数规模的旗舰模型，其他模型也都在大几千亿参数级别。Yi-Large “以小搏大” 以仅仅千亿参数量级紧追其后。
零一万物也由此成为了总榜上唯一一个自家模型进入排名前十的中国大模型企业。在总榜上，GPT系列占了前10的4个，以机构排序，零一万物 01.AI 仅次于 OpenAI, Google, Anthropic之后，以开放金标准正式进击国际顶级大模型企业阵营。
公开资料显示，LMSYS Org （Large Model Systems Organization） 是一个开放的研究组织，由加州大学伯克利分校的学生和教师、加州大学圣地亚哥分校、卡耐基梅隆大学合作创立。由LMSYS Org发布的Chatbot Arena凭借其新颖的“竞技场”形式、测试团队的严谨性，成为目前全球业界公认的基准标杆。
在形式上，Chatbot Arena首先将所有上传评测的“参赛”模型随机两两配对，以匿名模型的形式呈现在用户面前。随后号召真实用户输入自己的提示词，在不知道模型型号名称的前提下，由真实用户对两个模型产品的作答给出评价，用户在结果下方做出投票四选一：A模型较佳、B模型较佳，两者平手，或是两者都不好。提交后，可进行下一轮PK。
通过众筹真实用户来进行线上实时盲测和匿名投票，Chatbot Arena一方面减少偏见的影响，另一方面也最大概率避免基于测试集进行刷榜的可能性，以此增加最终成绩的客观性。在收集真实用户投票数据之后，LMSYS Chatbot Arena还使用Elo评分系统来量化模型的表现，进一步优化评分机制，力求公平反应参与者的实力。
得益于“真实用户盲测投票”这一机制，Chatbot Arena被称为大模型业内最有用户体感的评测。目前，Chatbot Arena已经成为OpenAI、Anthropic、Google、Meta等国际大厂“龙争虎斗”的当红擂台。（宜月）