【iThome新聞】Hugging Face公布可在手機上執行的語言模型SmolLM家族

來源
iThome新聞

內容
小語言模型開始加溫，Hugging Face本周公布了可在手機等裝置上執行的小參數量語言模型SmolLM家族，包括1.35億、3.6億及17億參數模型。
能在本地裝置執行的小型語言模型成為最新市場焦點，目前已公布的小模型有微軟Phi系列、阿里巴巴的通義千問Qwen 2（不到20億參數）及Meta的MobileLLM，若設計和訓練得當都可以得到很好的效果。但是關於這些模型的資料策畫（curation）和訓練的資訊卻不為大眾所知。