栏目分类

你的位置：长沙开发软件公司 > 软件开发资讯 > 软件开发价格翻车了!9.11和9.9哪个大？记者实测12个大模子8个齐答错

软件开发价格翻车了!9.11和9.9哪个大？记者实测12个大模子8个齐答错

发布日期：2024-07-19 10:43 点击次数：199

一说念小学生难度的数学题难倒了一众海表里AI大模子。

9.11和9.9哪个更大？就此问题，第一财经记者测试了12个大模子，其中阿里通义千问、百度文心一言、Minimax和腾讯元宝答对，但ChatGPT-4o、字节豆包、月之暗面kimi、智谱清言、零一万物万知、阶跃星辰跃问、百川智能百小应、商汤商量齐答错了，错法各有不同。

大部分大模子在问答中齐乌有地比拟了一丝点后的数字，觉得9.11大于9.9，探讨到数字波及的语境问题，记者将其扫尾为在数学语境下，如ChatGPT这么的大模子也照样答错。

在这背后，大模子数学才略较差是永远存在的问题，有行业东说念主士觉得，生成式的话语模子从野心上就更像笔墨想维而不是数字想维。不外，针对性地语料教师不详能在昔时逐渐辅助模子的理科才略。

8个大模子答错

大模子这一算术问题最运转被艾伦研究机构(Allen Institute)成员林禹臣发现，他在X平台上发布的截图流露，ChatGPT-4o在回答中觉得13.11比13.8更大。“一方面AI越来越擅长作念数学奥赛题，但另一方面学问依旧很难。”他默示。

随后Scale AI的领导工程师莱利·古德赛德（Riley Goodside）基于此灵感变换了问法，拷问了可能是面前最强的大模子ChatGPT-4o、谷歌Gemini Advanced以及Claude 3.5 Sonnet——9.11和9.9哪个更大？这几家主流大模子通通答错，他也获胜将此话题传播开来。

外洋主流大模子答题

推行上，若是追本求源，激发这一问题的是上周末国内一个综艺关联的热搜。7月13日，在最新一期的《歌手》公布的名次中，国内歌手孙楠与异邦歌手香缇莫的得票率区分是13.8%和13.11%，有网友质疑名次有问题，觉得13.11%大于13.8%。随后，对于13.8和13.11大小比拟的话题冲上热搜。

那时就有网友建议，我方不会的话，“着实不行问问AI呢”？恶果流露，不少AI还确切不行。

第一财经记者拿“9.11和9.9哪个大”的问题逐个测试了ChatGPT以及面前国内的主流大模子，包括阿里、百度等5家大厂模子，月之暗面等6家AI独角兽的模子。阿里通义千问、百度文心一言、Minimax和腾讯元宝4家大模子答对，其他8家则答错。

答对的大模子解题齐比拟相似，但答错的模子则各有各的逻辑和抒发。同期，对于答错的大模子记者进一步追问或者否定，险些系数大模子在被追问后齐承认我方之前回答乌有，并给出了正确的谜底。

开始是面前民众公认第一梯队的大模子ChatGPT，在被问到“9.11和9.9哪个大”时回复称，一丝点后头的数字“11大于9”，因此9.11大。

记者追问ChatGPT有莫得其他比拟设施，它将一丝改换因素数比拟，得出 “11/100比90/100小”，这一步是对的，但它接着下论断称“因此9.11比9.9大”。

有东说念主建议，大模子回答乌有可能是语境问题，比如从软件版块迭代的语境来说，9.11可能就会比9.9版块更大。因此记者加上扫尾词“从数学上”比拟，ChatGPT仍然回答乌有。

再看国内的大模子，推敲月之暗面旗下kimi，它在比拟一丝部分时觉得，9.11的第一位一丝是1，而9.9的第一位一丝是0，乌有地给出了一丝，得出论断9.11更大。

当记者质疑并建议学问后，kimi转而运转默示我方回答有误，并给出了正确的比拟设施。

推敲字节豆包，它不仅给出了谜底，还举了生涯中的例子便捷领略，单看似有理有据实则瞎掰八说念。豆包例如觉得，假定有两笔钱，“9.11元比9.9元多0.21元”，何况测量长度时“9.11 米要比 9.9 米长”。

智谱清言在答题中，获胜提到了9.11的十分位是1，而9.9的十分位是9，但仍然得出论断“9.11举座大于9.9”。何况还有意强调，“这个恶果可能让东说念主感到或然，因为直观上可能会觉得9.9更大，但笔据数学章程，9.11如实是更大的数字。”

在记者质疑谜底后，智谱清言开始默示“您的领略是常见的歪曲”，随后我方推演了一遍后，得出了正确的谜底，并承认我方之前的回答乌有。

商汤商量大模子开始给出了乌有谜底，记者追问具体是怎样比拟的，它在推演经过中获胜得出一丝0.11小于0.9，但话锋一排称“是以9.11大于9.9”。记者指出了这个前后逻辑问题，商量随后承认“讲解有误”。

阶跃星辰跃问相通给出了乌有谜底9.11比9.9大，乌有地比拟了一丝点大小，记者进一步质疑，真谛的是，在讲解中，跃问前后话语抒发逻辑运转交集，似乎莫答允志到我方谜底发生了变化。

跃问在讲解中开始称“领略你的困惑”，并默示日常生涯中9.9如实比9.11大，然则在数学中“需要更精准地比拟两个数的大小”，恶果跃问随后推演得出论断称笔据数学章程“9.11小于9.9”，涓滴莫得说起我方之前回答乌有。

还有两家大模子百川智能和零一万物，开始给出了乌有谜底，但在记者追问“为什么”的时候，就在推演后沉默改变了谜底。

范闲双色球第2024079期红球012路分析：上期红球012路比为2：1：3，2路红球较热，1路红球较冷；最近7期红球012路比为16：12：14，0路红球较热，软件开发价格1路红球较冷。

在记者提醒时，大模子才提到我方之前谜底有误。

从谜底来看，几个答对了的大模子解题经过齐很相似，以文心一言为例，获胜地分开比拟了整数部分和一丝部分。

另外，这几家内部腾讯元宝除了回答了正确谜底外，还整理了面前公开的一些筹商，并注明了援用来源和纠合。

“文科生”数学差

为什么堪称智能的大模子答不好小学生数学题？这并非一个新出现的问题，数学才略一直是大模子的短板，此前行业也屡次筹商过大模子的数学和复杂推理才略较差，即即是面前最佳的大模子GPT-4也仍然有很大率先空间。

最近的一次，第一财经曾在6月报说念过，笔据司南评测体系OpenCompass的高考全卷测试，包括GPT-4在内，7个大模子在高考测试汉文文和英语查验水平广漠可以，但数学这科全不足格，最高分也只好75分。

在批阅大模子的数学试卷时，本分们发现，大模子的主不雅题回答相对凌乱，且经过具有诱骗性，甚而出现经过乌有但得到正确谜底的情况。这意味着，大模子的公式哀痛才略较强，然则无法在解题经过中生动诈欺。

一些行业东说念主士将数学不好的原因归结于LLM（妄言语模子）的架构问题，妄言语模子频频是通过瞻望下一个词的监督学习面目进行教师。简短来说，向大模子输入大限度的文本数据集，模子在教师学习后会笔据面前输入的文原本瞻望下一个词的概率分散。通过不断比拟模子瞻望和推行的下一个词，话语模子逐渐掌执了话语章程，学会了瞻望并生成了下一个词。

一位算法工程师觉得，生成式的话语模子更像文科生而不是理科生。推行上话语模子在这么的数据教师经过中学到的是关联性，使得AI在笔墨创作上达到东说念主类平均水平，而数学推理更需要的是因果性，数学是高度空洞和逻辑驱动的，与话语模子处理的话语数据在骨子上有所不同。这意味着大模子要学好数学，除了学习全国知识外，还应该有想维的教师，从而具备推理演绎才略。

此外，针对简短数学题出现的大模子集体乌有，大部分行业东说念主士齐会第一时间料想Tokenizer（分词器）的数字切分问题。在妄言语模子中，Tokenizer会将输入文本拆分诊治成更小的部分（词元tokens）供模子处理。而Tokenizer并莫得专门为数学野心，这导致数字在分割时可能被拆成分歧理的部分，贬抑了数字的举座性，使得模子难以领略和计较这些数字。

小程序开发

新浪微博新技巧研发阐明东说念主张俊林对此讲解说念，早期LLM的Tokenizer一般不会对数字进行非凡处理，正常把一语气的些许数字切在通盘变成一个Token，比如“13579”，可能被切成3个Token ,“13”是一个，“57”是一个，“9”是一个，哪些数字被切在通盘组成Token，这取决于数据集会里的统计情况，在这种不确信哪些数字片断组成一个Token的情况下，LLM要想作念多位数字数值计较，是曲常困难的。

不外，上述问题也正在逐渐被处分，在想维才略上更中枢的可能仍是教师语料的问题。妄言语模子主要通过互联网上的文本数据进行教师，而这些数据中数学问题和处分决议相对较少，导致模子在数学推理和问题处分妙技上的教师契机有限。

针对大模子复杂推理才略的短板，上海东说念主工智能实验室领军科学家林达华此前在采访中对第一财经默示，昔时大模子的教师不行单纯只依靠互联网数据的网罗和灌输，而要更体系地构建。

在复杂推理上关节是要构造许多经过性的内容。例如，构造上亿条解几何题具体经过的数据，拿去给大模子教师后，模子就能逐渐学会解题经过。而从互联网上很难去多数获取这些数据，“昔时在模子的教师数据上头，尤其是冲破更高级次的智能的经过中，会越来越依赖构造型的数据，不是径直爬取下来的数据。”林达华觉得。

值得一提的是，大模子的复杂推理才略尤为繁难，这关乎可靠性和准确性，是大模子在金融、工业等场景落地需要的关节才略。

“面前许多大模子的诈欺场景是客服、聊天等等，在聊天场景一册肃肃瞎掰八说念影响不太大，但它很难在终点严肃的买卖局势去落地。”林达华此前默示，复杂推理相关到落地诈欺时大模子的可靠性，例如在金融这么的场景下不行在数字上有特殊，会对数学上的可靠性有较高的条款。另外跟着大模子插足商用，若要分析一家公司的财报，甚而是工业边界要去分析一些技巧文档，这时数学方面的计较才略就会成为一个壁垒。

举报第一财经告白配合，请点击这里此内容为第一财经原创，文章权归第一财经系数。未经第一财经籍面授权，不得以任何面目加以使用，包括转载、摘编、复制或设置镜像。第一财经保留根究侵权者法律包袱的职权。如需赢得授权请筹商第一财经版权部：021-22002972或021-22002335；banquan@yicai.com。文章作家