一夜之間，大模型界又炸出個 big news！

斯坦福發(fā)布 Alpaca:

只花 100 美元，人人都可微調(diào) Meta 家 70 億參數(shù)的 LLaMA 大模型，效果竟可比肩 1750 億參數(shù)的 GPT-3.5。

而且還是單卡就能運行的那種，甚至樹莓派、手機都能 hold 住！

還有一個更絕的“騷操作”。

研究所涉及到的數(shù)據(jù)集，是斯坦福團隊花了不到 500 美元用 OpenAI 的 API 來生成的。

所以整個過程下來，就等同于 GPT-3.5 自己教出了個旗鼓相當(dāng)?shù)膶κ?AI。

然后團隊還說，用大多數(shù)云計算平臺去微調(diào)訓(xùn)練好的模型，成本也不到 100 美元:

復(fù)制一個 GPT-3.5 效果的 AI，很便宜，很容易，還很小。

而且團隊還把數(shù)據(jù)集、代碼統(tǒng)統(tǒng)都給開源了，這下子人人都能去微調(diào)個效果炸裂的對話 AI:

項目在 GitHub 發(fā)布才半天時間，便已經(jīng)狂攬 1800 + 星，火爆程度可見一斑。

Django 聯(lián)合開發(fā)者甚至對斯坦福的新研究用“驚天大事”來形容:

不僅如此，斯坦福團隊還搞了個 demo，在線可玩的那種。

話不多說，我們現(xiàn)在就來看看這個“草泥馬”的效果。

比肩 davinci-003 的草泥馬 Aplaca

在斯坦福官方的演示中，他們先小試牛刀地提了一個問題:

什么是羊駝？它和美洲駝的區(qū)別是什么？

草泥馬 Aplaca 給出的答案較為干練:

羊駝是一種小型駱駝科動物，原產(chǎn)于秘魯、玻利維亞、厄瓜多爾和智利；它比美洲駝小，羊毛更細，也沒有駝峰。

而后又簡單的介紹了二者群居生活的不同。

同樣的問題若是交給 ChatGPT，則答案就不會像草泥馬 Aplaca 那般簡潔:

對此，團隊給出的解釋是:

Alpaca 的答案通常比 ChatGPT 短，反映出 text-davinci-003 的輸出較短。

而后團隊演示了讓草泥馬 Alpaca 寫郵件:

寫一封 e-mail 祝賀被斯坦福大學(xué)錄取的新生，并提到你很高興能親自見到他們。

草泥馬 Alpaca 對于這個任務(wù)也是信手拈來，直接給出了一個像模像樣的郵件模板:

難度再次進階，團隊這次提出了讓草泥馬 Alpaca 寫論文摘要的需求:

寫一篇經(jīng)過深思熟慮的機器學(xué)習(xí)論文摘要，證明 42 是訓(xùn)練神經(jīng)網(wǎng)絡(luò)的最優(yōu) seed。

草泥馬 Alpaca 給出的答案從內(nèi)容上來看，非常符合大多數(shù)論文的摘要形式:試圖回答什么問題、用了什么方法、結(jié)果如何，以及未來展望。

當(dāng)然，也有迫不及待的網(wǎng)友親自下場試驗，發(fā)現(xiàn)草泥馬 Alpaca 寫代碼也是不在話下。

不過即便草泥馬 Alpaca 能夠 hold 住大部分問題，但這并不意味著它沒有缺陷。

例如團隊便演示了一個例子，在回答“坦桑尼亞的首都是哪里”的問題時，草泥馬 Alpaca 給出的答案是“達累斯薩拉姆”。

但實際上早在 1975 年便被“多多馬”取代了。

除此之外，若是親自體驗過草泥馬 Alpaca 就會發(fā)現(xiàn)，它…… 巨慢:

對此，有網(wǎng)友認為可能是使用的人太多的原因。

筆記本、手機、樹莓派都能跑

Meta 開源的 LLaMA 大模型，剛發(fā)布幾周就被大家安排明白了，單卡就能運行。

所以理論上，基于 LLaMA 微調(diào)的 Alpaca 同樣可以輕松在本地部署。

沒有顯卡也沒關(guān)系，蘋果筆記本甚至樹莓派、手機都可以玩。

在蘋果筆記本部署 LLaMA 的方法來自 GitHub 項目 llama.cpp，使用純 C / C++ 做推理，還專門對 ARM 芯片做了優(yōu)化。

作者實測，M1 芯片的 MacBook Pro 上即可運行，另外也支持 Windows 和 Linux 系統(tǒng)。

還是這個 C++ 移植版本，有人成功在 4GB 內(nèi)存的樹莓派 4 上成功運行了 LLaMA 的 70 億參數(shù)版本。

雖然速度非常慢，大約 10 秒生成一個 token。

更離譜的是僅僅 2 天之后，有人把 LLaMA 模型量化壓縮后成功在 Pixel 6 安卓手機上運行(26 秒一個 token)。

Pixel 6 使用谷歌自研處理器 Google Tensor，跑分成績在驍龍 865 + 到 888 之間，也就是說新一點的手機理論上都能勝任。

微調(diào)數(shù)據(jù)集也開源

斯坦福團隊微調(diào) LLaMA 的方法，來自華盛頓大學(xué) Yizhong Wang 等去年底提出的 Self-Instruct。

以 175 個問題作為種子任務(wù)，讓 AI 自己從中組合出新的問題以及生成配套答案實例，人工過濾掉低質(zhì)量的，再把新任務(wù)添加到任務(wù)池里。

所有這些任務(wù)，之后可以采用 InstructGPT 的方法讓 AI 學(xué)會如何遵循人類指令。

套娃幾圈下來，相當(dāng)于讓 AI 自己指導(dǎo)自己。

斯坦福版 Alpaca，就是花了不到 500 美元使用 OpenAI API 生成了 5.2 萬個這樣的示例搞出來的。

這些數(shù)據(jù)同樣開源了出來，并且比原論文的數(shù)據(jù)多樣性更高。

同時還給出了生成這些數(shù)據(jù)的代碼，也就是說如果有人還嫌不夠，可以再去自行擴充微調(diào)數(shù)據(jù)，繼續(xù)提高模型的表現(xiàn)。

微調(diào)代碼也會在 HuggingFace 官方支持 LLaMA 后放出。

不過 Alpaca 最終的模型權(quán)重需要 Meta 許可才能發(fā)布，并且繼承了 LLaMA 的非商用開源協(xié)議，禁止任何商業(yè)用途。

并且由于微調(diào)數(shù)據(jù)使用了 OpenAI 的 API，根據(jù)使用條款也禁止用來開發(fā)與 OpenAI 形成競爭的模型。

One More Thing

還記得 AI 繪畫的發(fā)展歷程嗎？

2022 年上半年還只是話題熱度高，8 月份 Stable Diffusion 的開源讓成本下降到可用，并由此產(chǎn)生爆炸式的工具創(chuàng)新，讓 AI 繪畫真正進入各類工作流程。

語言模型的成本，如今也下降到了個人電子設(shè)備可用的程度。

最后還是由 Django 框架創(chuàng)始人 Simon Willison 喊出:

大語言模型的 Stable Diffusion 時刻到了。