A级成人毛片免费视频高清,国产免费黄色片,a毛片视频一级毛片视频,绿色的电影,久青草大香蕉导航无删减完整在线观看 ,中文字幕无码亚洲字幕成a人

蜜途網
    首頁 > 國內 > 大模型靠“深呼吸”數學再漲8分!谷歌DeepMind發現AI自己設計提示

大模型靠“深呼吸”數學再漲8分!谷歌DeepMind發現AI自己設計提示

來源:IT之家   時間:2023-09-12 10:35:06   閱讀量:15081   

感謝IT之家網友 Alejandro86、軟媒用戶1520111 的線索投遞!

提示詞中加上“深呼吸”,AI 大模型數學成績就能再漲 8.4 分!

谷歌 DeepMind 團隊最新發現,用這個新“咒語”結合大家已經熟悉的“一步一步地想”(Let’s think step by step),大模型在 GSM8K 數據集上的成績就從 71.8 提高到 80.2 分。

而且這個最有效的提示詞,是 AI 自己找出來的。

有網友開玩笑說,深呼吸以后,散熱風扇就轉速就提高了。

也有人表示,剛高薪入職的提示工程師們也應該深呼吸,工作可能干不久了

相關論文《大語言模型是優化器》,再次引起轟動。

具體來說,大模型自己設計的提示詞在 Big-Bench Hard 數據集上最高提升 50%。

也有人的關注點在“不同模型的最佳提示詞不一樣”。

并且不止提示詞設計這一個任務,在論文中還測試了大模型在線性回歸和旅行商問題這些經典優化任務上的能力。

模型不同,最佳提示詞也不同

優化問題無處不在,基于導數和梯度的算法是強大的工具,但現實應用中也經常遇到梯度不適用的情況。

為解決這個問題,團隊開發了新方法 OPRO,也就是通過提示詞優化。

不是形式化定義優化問題然后用程序求解,而是用自然語言描述優化問題,并要求大模型生成新的解決方案。

一圖流總結,就是對大模型的一種遞歸調用。

每一步優化中,以之前生成的解決方案和評分作為輸入,大模型生成新的方案并評分,再將其添加到提示詞中,供下一步優化使用。

論文主要使用谷歌的 PaLM 2 和 Bard 中的 text-bison 版本作為評測模型。

再加上 GPT-3.5 和 GPT-4,共 4 種模型作為優化器。

結果表明,不光不同模型設計出的提示詞風格不同,適用的提示詞風格也不同。

此前在 GPT 系列上的 AI 設計出的最優提示詞是“Let’s work this out in a step by step way to be sure we have the right answer.”

這個提示詞使用 APE 方法設計,論文發表在 ICLR 2023 上,在 GPT-3上超過人類設計的版本“Let’s think step by step”。

但這次在谷歌系 PaLM 2 和 Bard 上,APE 版本作為基線就還不如人類版本。

OPRO 方法設計出來的新提示詞中,“深呼吸”和“拆解這個問題”對 PaLM 來說效果最好。

對 text-bison 版的 Bard 大模型來說,則更傾向于詳細的提示詞。

另外論文還展示了大模型在數學優化器上的潛力。

線性回歸作為連續優化問題的示例。

旅行商問題作為離散優化問題的示例。

僅僅通過提示,大模型就能找到不錯的解決方案,有時甚至匹敵或超過手動設計的啟發式算法。

但團隊也認為大模型還無法替代傳統基于梯度的優化算法,當問題規模較大時,OPRO 方法表現就不好。

對于未來改進方向,團隊提出當前大模型還無法有效利錯誤案例,僅提供錯誤案例無法讓大模型捕捉捕捉到錯誤的原因。

一個有前景的方向是結合關于錯誤案例的更豐富的反饋,并總結優化軌跡中高質量和低質量生成提示的關鍵特征差異。

這些信息可能幫助優化器模型更高效地改進過去生成的提示,并可能進一步減少提示優化所需的樣本數量。

論文放出大量最優提示詞

論文來自谷歌與 DeepMind 合并后的部門,但作者以原谷歌大腦團隊為主,包括 Quoc Le、周登勇。

共同一作為康奈爾大學博士畢業的復旦校友 Chengrun Yang,和 UC 伯克利博士畢業的上交大校友陳昕昀。

團隊還在論文中給出了大量實驗中得到的最優提示詞,包括電影推薦、惡搞電影名字等實用場景,有需要的小伙伴可自取。

論文地址:

參考鏈接:

廣告聲明:文內含有的對外跳轉鏈接,用于傳遞更多信息,節省甄選時間,結果僅供參考,IT之家所有文章均包含本聲明。

聲明:本網轉發此文章,旨在為讀者提供更多信息資訊,所涉內容不構成投資、消費建議。文章事實如有疑問,請與有關方核實,文章觀點非本網觀點,僅供讀者參考。

猜你喜歡

游客在進入北京環球度假區時須核驗北京健康寶和有效身份證件
游客在進入北京環球度假區時須核驗北京健康

具體如下:北京環球度假區繼續按照相關政府部門的限流要求,以預約入園的形式加強人流動態監測和...詳情

2022-04-28
杭州湘湖的草坪人氣很高不少人在這里搭帳篷
杭州湘湖的草坪人氣很高不少人在這里搭帳篷

湘湖邊亂搭帳篷,煞了春日風景景區出臺最新政策,將設置臨時帳篷搭建區,后續還要增設露營服務區...詳情

2022-04-14
南非徐霞客在云南:從行萬里路到吃百碗米線的文化之旅
南非徐霞客在云南:從行萬里路到吃百碗米線

題:南非徐霞客在云南:從行萬里路到吃百碗米線的文化之旅杜安睿來自南非,是一名國際注冊會計師...詳情

2022-04-10
廣州新增3例本土確診病例雙層觀光巴士全部停運
廣州新增3例本土確診病例雙層觀光巴士全部

廣州新增3例本土確診病例雙層觀光巴士全部停運廣州市政府新聞辦公室21日公布的信息顯示,過去...詳情

2022-03-22