谷歌也來卷「小」模型了，一出手就是王炸，勝過了比自己參數多得多的GPT-3.5、Mixtral競品模型。
今年 6 月底，谷歌開源了 9B、27B 版 Gemma 2 模型系列，并且自亮相以來，27B 版本迅速成為了大模型競技場 LMSYS Chatbot Arena 中排名最高的開放模型之一，在真實對話任務中比其兩倍規模以上的模型表現還要好。
如今，僅僅過去了一個多月，谷歌在追求負責任 AI 的基礎上，更加地考慮該系列模型的安全性和可訪問性，并有了一系列新成果。
此次，Gemma 2 不僅有了更輕量級「Gemma 2 2B」版本，還構建一個安全內容分類器模型「ShieldGemma」和一個模型可解釋性工具「Gemma Scope」。具體如下：
- Gemma 2 2B 具有內置安全改進功能，實現了性能與效率的強大平衡；
- ShieldGemma 基于 Gemma 2 構建，用于過濾 AI 模型的輸入和輸出，確保用戶安全；
- Gemma Scope 提供對模型內部工作原理的無與倫比的洞察力。
其中，Gemma 2 2B 無疑是「最耀眼的仔」，它在大模型競技場 LMSYS Chatbot Arena 中的結果令人眼前一亮：僅憑 20 億參數就跑出了 1130 分，這一數值要高于 GPT-3.5-Turbo（0613）和 Mixtral-8x7b。
這也意味著，Gemma 2 2B 將成為端側模型的最佳選擇。
蘋果機器學習研究（MLR）團隊研究科學家 Awni Hannun 展示了 Gemma 2 2B 跑在 iPhone 15 pro 上的情況，使用了 4bit 量化版本，結果顯示速度是相當快。
視頻來源：https://x.com/awnihannun/status/1818709510485389563
此外，對于前段時間很多大模型都翻了車的「9.9 和 9.11 誰大」的問題，Gemma 2 2B 也能輕松拿捏。
圖源：https://x.com/tuturetom/status/1818823253634564134
與此同時，從谷歌 Gemma 2 2B 的強大性能也可以看到一種趨勢，即「小」模型逐漸擁有了與更大尺寸模型匹敵的底氣和效能優勢。
這種趨勢也引起了一些業內人士的關注，比如知名人工智能科學家、Lepton AI 創始人賈揚清提出了一種觀點：大語言模型（LLM）的模型大小是否正在走 CNN 的老路呢？
在 ImageNet 時代，我們看到參數大小快速增長，然后我們轉向了更小、更高效的模型。這是在 LLM 時代之前，我們中的許多人可能已經忘記了。
- 大型模型的曙光：我們以 AlexNet（2012）作為基線開始，然后經歷了大約 3 年的模型大小增長。VGGNet（2014）在性能和尺寸方面都可稱為強大的模型。
- 縮小模型：GoogLeNet（2015）將模型大小從 GB 級縮小到 MB 級，縮小了 100 倍，同時保持了良好的性能。類似工作如 SqueezeNet（2015）和其他工作也遵循類似的趨勢。
- 合理的平衡：后來的工作如 ResNet（2015）、ResNeXT（2016）等，都保持了適中的模型大小。請注意，我們實際上很樂意使用更多的算力，但參數高效同樣重要。
- 設備端學習？MobileNet（2017）是谷歌的一項特別有趣的工作，占用空間很小，但性能卻非常出色。上周，我的一個朋友告訴我「哇，我們仍然在使用 MobileNet，因為它在設備端具有出色的特征嵌入通用性」。是的，嵌入式嵌入是實實在在很好用。
最后，賈揚清發出靈魂一問，「LLM 會遵循同樣的趨勢嗎？」
