.:. 草榴社區 » 技術討論區 » 文心一言4.0真的和GPT-4相差无几了吗?
--> 本頁主題: 文心一言4.0真的和GPT-4相差无几了吗? 字體大小 寬屏顯示 只看樓主 最新點評 熱門評論 時間順序
無穴可擊


級別:禁止發言 ( 8 )
發帖:208
威望:101 點
金錢:2775 USD
貢獻:0 點
註冊:2023-01-22


文心一言4.0真的和GPT-4相差无几了吗?



近期发布的文心一言大模型 4.0,能赶上GPT-4吗?
李彦宏昨天在会上说:
文心大模型 4.0 综合水平与 GPT-4 相比已经毫不逊色。

 
这话一出,很多人就沸腾了。
据李彦宏这边的说法,文心 4.0 在记忆、理解、逻辑和生成四块,进步神速。
尽管他也在现场亲自演示了很多案例,但很多用户是压根不买账的。
不少人调侃说:“ 骗骗兄弟就可以了,别把自己也骗了啊。 ”
那到底是毫不逊色,还是吹牛扯淡呢,咱们直接亲自试试就知道了。
 
既然他吹自己和 GPT-4 比毫不逊色,那我们就让这俩互掐一下,比比斤两。
总体来说, GPT-4 稳定胜利,但文心一言 4.0 居然意外地某些方面压过 GPT-4 一头。
这次测试,还是从比较常见的几个测评角度入手,这样体现的更全面、真实。但是,测试难度我们是和之前的 GPT-4 测评难度对齐的。
这比赛的第一轮,先测点大家喜闻乐见的吧。
先从比较轻松的弱智吧和语义陷阱题入手,也正好可以考察一下逻辑和理解能力。
不过,这块很多大模型都有专门训练,问了很多题都没把它们考倒。
问了一个非常经典的弱智吧问题:世界上真的有 “ 龙 ” ,那我就在某地被 “ 一条龙 ” 服务过。
没想到,这题两个 AI 没一个能做对的。。。
先看 GPT-4 这边,由于不知道这俩 “ 龙 ” 到底嘛意思,就开始乱编一些历史典故。
 
文心这边,也没有聪明到哪去,也是乱编了一种 “ 幽默 ” 的说法。
甚至,世超后面又给了它一次机会,追问它:两个龙是同一个龙吗?
文心依然极其坚定地给了我一个完全错误的答案。
 
不过,到了第二题, GPT-4 就站起来了。
当我问:公司是个温暖的大家庭,怪不得我总是当孙子。
文心这边还在那 “ 温暖的公司 ” 、 “ 没有等级差别 ” 。
 
但再看人家 GPT-4 这个外国 AI ,早就读懂了中国人的话里有话,表面温暖,实则冰冷。
 
不过,当世超又追加了一道领导题。事态却突然彻底反转,反而是文心赢得很彻底。
问了几个流行的段子: “ 领导夹菜你转桌,领导喝水你刹车 ” ,让它们给仿写几个。
其实这题要想做对,并不容易。不仅仅需要精准地理解提问,并且要能够推理出句子的规律和情感色彩。
两边 AI 给我的句子,对仗都蛮工整的,就是 GPT-4 语义彻底理解反了。领导的马屁拍的非常完美,可惜就是答案全错。
 
文心这边给的这些答案,才真的符合当代青年的领导文化。
不过温馨提示,实操的时候建议开始以 GPT-4 为准。
 
这第一轮比拼结束,文心 VS GPT-4 不分高下, 1 比 1 打了平手。
看来,文心一言说自己进步神速,不是完全在吹牛啊。
第二轮比赛,试试 AI 解读梗的能力。
当年, GPT-4 上线时能解梗图,那是叱诧风云了好长一段时间。
这一次,不仅仅让它们读梗图,还要加码测试一下,看他们联网能力能不能应对各种网络上的新梗。
因为前面都是测中文语义,觉得对 GPT-4 有点不公平,所以特地选了个中英注解都有的梗图。
 
就像我的人生一样不知道在忙些什么
不知道是不是有英文辅助,这一次GPT-4 梗图解读能力强的不是一星半点。
不光能看懂 “狗狗” 是这张梗图的关键角色,而且读懂了笑点在于 “ 认真帮忙 ” 和 “ 毫无效果 ” 的对比。
 
但是,文心这边却还在一板一眼地把梗图,当阅读理解题来做。。。
而且嘴还蛮硬,你说这张图好笑,它坚持:这没啥让人发笑的,搞不懂你在乐什么。
 


赞(73)
DMCA / ABUSE REPORT | TOP Posted: 10-20 13:17 樓主 引用 | 發表評論
盗亦有道乎


級別:聖騎士 ( 11 )
發帖:3216
威望:607 點
金錢:8606 USD
貢獻:3210 點
註冊:2016-08-09


百度就是个垃圾,同意的点个赞👍🏻


點評

    TOP Posted: 10-20 13:29 熱門評論 引用 | 點評
    zhanping


    級別:騎士 ( 10 )
    發帖:3187
    威望:451 點
    金錢:26080 USD
    貢獻:8 點
    註冊:2015-01-22

    问问它歪脖树上挂包子是什么意思


    點評

      TOP Posted: 10-20 13:31 熱門評論 引用 | 點評
      风间露菲娅


      級別:天使 ( 14 )
      精華:4
      發帖:30721
      威望:13616 點
      金錢:7723389 USD
      貢獻:3791067 點
      註冊:2011-06-06
      認證: 博彩區資深老幹部
      2021-01-03

      绝大多数人被GPT账号注册验证就挡在了门外, 用上GPT的已经懒得喷这些墙内弱智AI了

      所以, 由着他胡吹吧
      ------------------------
       
      TOP Posted: 10-20 14:32 熱門評論 引用 | 點評
      盲流子


      級別:風雲使者 ( 13 )
      發帖:18571
      威望:4891 點
      金錢:1340 USD
      貢獻:156789 點
      註冊:2023-01-21

      遥遥领先
      TOP Posted: 10-20 13:40 #3樓 引用 | 點評
      镇守中原


      級別:精靈王 ( 12 )
      發帖:2864
      威望:193 點
      金錢:3648 USD
      貢獻:51802 點
      註冊:2017-01-16

      文心一言不是个翻译软件吗?
      TOP Posted: 10-20 13:44 #4樓 引用 | 點評
      秦亦书


      級別:俠客 ( 9 )
      發帖:2002
      威望:226 點
      金錢:8174 USD
      貢獻:1000 點
      註冊:2020-01-24

      李彦宏我信你个鬼,你个糟老头子坏得很


      點評

        TOP Posted: 10-20 13:51 #5樓 引用 | 點評
        霍夫曼


        級別:俠客 ( 9 )
        發帖:1735
        威望:271 點
        金錢:8121 USD
        貢獻:1 點
        註冊:2011-06-06

        无耻
        TOP Posted: 10-20 14:27 #6樓 引用 | 點評
        漠北巫师


        級別:光明使者 ( 14 )
        發帖:1788
        威望:345 點
        金錢:1232972521 USD
        貢獻:520461 點
        註冊:2011-12-17

        真敢说
        TOP Posted: 10-20 14:30 #7樓 引用 | 點評
        口袋记忆


        級別:聖騎士 ( 11 )
        發帖:1145
        威望:118 點
        金錢:1140372 USD
        貢獻:25020 點
        註冊:2016-04-01

        一个充满谎言和欺骗的土地能孕育出什么好东西
        TOP Posted: 10-20 14:41 #9樓 引用 | 點評
        mao6309


        級別:騎士 ( 10 )
        發帖:4420
        威望:508 點
        金錢:8354 USD
        貢獻:100 點
        註冊:2011-06-06

        感谢分享
        TOP Posted: 10-20 14:44 #10樓 引用 | 點評
        1stpklosr2me


        級別:俠客 ( 9 )
        發帖:1435
        威望:182 點
        金錢:14513 USD
        貢獻:25 點
        註冊:2013-11-23


        名字就输了,土!
        TOP Posted: 10-20 14:45 #11樓 引用 | 點評
        爱的狂野


        級別:俠客 ( 9 )
        發帖:1543
        威望:155 點
        金錢:46357615 USD
        貢獻:1000 點
        註冊:2014-05-16

        感谢分享
        TOP Posted: 10-20 15:00 #12樓 引用 | 點評
        话别憋在心里


        級別:聖騎士 ( 11 )
        發帖:781
        威望:123 點
        金錢:605 USD
        貢獻:25831 點
        註冊:2021-03-26

        别逗了,差多了,社会主义的产物,满嘴跑火车
        TOP Posted: 10-20 16:19 #13樓 引用 | 點評
        人生苦


        級別:天使 ( 14 )
        發帖:4279
        威望:428 點
        金錢:347003917 USD
        貢獻:12345678 點
        註冊:2017-04-09

        很多东西看起来都相差无几,比如李毅护球像亨利。
        TOP Posted: 10-20 16:39 #14樓 引用 | 點評
        Doflamingo


        級別:俠客 ( 9 )
        發帖:988
        威望:179 點
        金錢:3945 USD
        貢獻:0 點
        註冊:2015-06-11

        问它鲁迅和周树人分别是谁
        ------------------------
        D
        TOP Posted: 10-20 16:43 #15樓 引用 | 點評
        茶麻古道


        級別:天使 ( 14 )
        發帖:9474
        威望:1063 點
        金錢:1568421 USD
        貢獻:3462000 點
        註冊:2011-06-06

        有ChatGPT账号的无需再次测试文心一言,所以李彦宏说自己遥遥领先那就是遥遥领先,对此不服的也只能是阿里、科大讯飞这些了
        ------------------------
        X
        TOP Posted: 10-20 16:58 #16樓 引用 | 點評
        如此这般


        級別:俠客 ( 9 )
        發帖:1618
        威望:162 點
        金錢:7244 USD
        貢獻:89 點
        註冊:2011-06-06


        这玩意儿不就是李逵和李鬼的区别嘛
        TOP Posted: 10-20 17:02 #17樓 引用 | 點評
        qqq0623


        級別:精靈王 ( 12 )
        發帖:30999
        威望:3023 點
        金錢:1949182 USD
        貢獻:1137 點
        註冊:2011-06-06

        感谢分享
        TOP Posted: 10-20 17:03 #18樓 引用 | 點評
        pepsi~cola


        級別:騎士 ( 10 )
        發帖:3020
        威望:333 點
        金錢:19471 USD
        貢獻:152 點
        註冊:2023-07-05

        4和4.0还有区别?
        TOP Posted: 10-20 17:06 #19樓 引用 | 點評
        孤楼望月


        級別:騎士 ( 10 )
        發帖:2402
        威望:266 點
        金錢:2194 USD
        貢獻:1750 點
        註冊:2015-04-28

        感谢分享
        ------------------------
        !
        TOP Posted: 10-20 17:10 #20樓 引用 | 點評
        真没创意


        級別:聖騎士 ( 11 )
        發帖:4956
        威望:477 點
        金錢:5097 USD
        貢獻:22000 點
        註冊:2020-12-01

        文心一言不如讯飞星火好用


        點評

          TOP Posted: 10-20 17:15 #21樓 引用 | 點評
          kelson34


          級別:精靈王 ( 12 )
          發帖:8607
          威望:862 點
          金錢:5108 USD
          貢獻:10892 點
          註冊:2008-09-10

          感谢分享
          TOP Posted: 10-20 17:44 #22樓 引用 | 點評
          见习骑士


          級別:俠客 ( 9 )
          發帖:1013
          威望:102 點
          金錢:2110 USD
          貢獻:0 點
          註冊:2023-07-12


          大佬是同道中人
          TOP Posted: 10-20 17:49 #23樓 引用 | 點評
          红日晚潇潇


          級別:俠客 ( 9 )
          發帖:1020
          威望:156 點
          金錢:5398 USD
          貢獻:0 點
          註冊:2022-12-18

          只是画个皮,没有神。
          TOP Posted: 10-20 17:55 #24樓 引用 | 點評

          .:. 草榴社區 -> 技術討論區

          快速回帖 頂端
          內容
          HTML 代碼不可用

          使用簽名
          Wind Code自動轉換

          按 Ctrl+Enter 直接提交