聊天機(jī)器人ChatGPT能力波動(dòng)：質(zhì)數(shù)識(shí)別準(zhǔn)確率下降

(資料圖片)

斯坦福大學(xué)的一項(xiàng)新研究發(fā)現(xiàn)，熱門生成式人工智能（AI）聊天機(jī)器人ChatGPT的能力在幾個(gè)月內(nèi)有所波動(dòng)。研究人員評(píng)估了ChatGPT在幾個(gè)月內(nèi)如何處理不同的任務(wù)，發(fā)現(xiàn)ChatGPT的能力隨時(shí)間推移而出現(xiàn)不一致。目前，ChatGPT有兩個(gè)版本，免費(fèi)的GPT-3.5模型和更智能、更快速的付費(fèi)GPT-4版本。研究人員發(fā)現(xiàn)，GPT-4在3月份能夠有效地解決數(shù)學(xué)問(wèn)題，識(shí)別質(zhì)數(shù)的準(zhǔn)確率為97.6%。但三個(gè)月后，其準(zhǔn)確率下降到了2.4%。而另一方面，GPT-3.5卻變得更好，從7.4%的準(zhǔn)確率提高到了86.8%。研究人員還注意到，在編寫代碼和視覺(jué)推理方面也有類似的波動(dòng)。斯坦福大學(xué)計(jì)算機(jī)科學(xué)教授James Zou表示：“當(dāng)我們調(diào)整一個(gè)大型語(yǔ)言模型來(lái)提高它在某些任務(wù)上的表現(xiàn)時(shí)，那可能會(huì)有很多意想不到的后果，可能會(huì)損害這個(gè)模型在其他任務(wù)上的表現(xiàn)……這個(gè)模型回答問(wèn)題的方式有各種各樣的相互依賴性，這可能導(dǎo)致我們觀察到的一些惡化行為?！毖芯咳藛T認(rèn)為，結(jié)果并不能真正反映ChatGPT性能的準(zhǔn)確性狀態(tài)，而是顯示了微調(diào)模型帶來(lái)的意外后果。本質(zhì)上，當(dāng)修改模型的一部分來(lái)改善一個(gè)任務(wù)時(shí)，其他任務(wù)可能會(huì)受到影響。為什么會(huì)這樣很難確定，因?yàn)闆](méi)有人知道ChatGPT是如何運(yùn)作的，而且它的代碼也不是開源的。隨著時(shí)間的推移，研究人員注意到，ChatGPT的回答不僅變得不太準(zhǔn)確，而且還停止了解釋其推理過(guò)程。由于ChatGPT的運(yùn)作方式，要研究和衡量其表現(xiàn)可能很困難。這項(xiàng)研究強(qiáng)調(diào)了觀察和評(píng)估驅(qū)動(dòng)ChatGPT等工具的大型語(yǔ)言模型（LLM）性能變化的必要性。該研究已經(jīng)在arXiv上發(fā)布，并正在等待同行評(píng)審。

推薦DIY文章

性價(jià)比提升30%+，火山引擎第三代AMD實(shí)例 ECS g3a邀測(cè)上線

場(chǎng)景化新品登場(chǎng)，北汽藍(lán)谷蓄力增長(zhǎng)新周期

北京衛(wèi)星制造廠科技園：網(wǎng)紅“北京城市更新最佳實(shí)踐”打卡地

姿素華品牌全面煥新，苦參堿成分洗頭水正式上市

全新門派“萬(wàn)靈山莊”首曝 《劍網(wǎng)3》十四周年發(fā)布會(huì)全回顧

刷新全智能手表體驗(yàn)上限，OPPO Watch 4 Pro發(fā)布：2199元起