5月26日消息,年前據YouTube頻道Fully Buffered實測,單核一顆2006年的硬剛運行Intel奔騰4 641單核處理器成功運行了Meta的Llama 3.2 3B大模型,但回答一個問題需要近33分鐘。現代
測試平臺完全采用20年前的奔騰主流硬件:奔騰4 641(Cedar Mill核心,3.2GHz,測答2MB L2 Cache ,題分支持超線程),年前搭配華碩P5WDH Deluxe主板和4條2GB DDR2-800內存,單核共計8GB內存 。硬剛運行
團隊最初嘗試了多款主流本地AI模型,現代但均因CPU不支持AVX2指令集而無法啟動,奔騰最終發現Llama 3.2支持No-AVX模式,測答且30億參數的題分3B版本剛好能完整載入8GB內存。
實測中,年前輸入問題“What's a Pentium 4?”后 ,CPU隨即滿負荷運轉 ,但生成速度也僅為每秒0.21個Token,完成回答耗時約33分鐘。
雖然速度慢到令人崩潰 ,但奔騰4確實跑通了現代大模型推理 ,當年設計NetBurst架構的工程師恐怕做夢也想不到這一幕。
這個測試的意義不在于實用性,而在于驗證了一個極限 :在No-AVX模式和足夠內存的條件下 ,20年前的單核處理器也能完成LLM推理。