好几年前,我在科学网重贴了一篇以前的科普博文,题为《刻舟求魚》,引发了一场旷日持久的大争论。这实际是我上中学时在某本英文物理书上看到的一个问题,大意是“一艘小船停在平静的水面上,船上一人从船头走到船尾,水的阻力正比于船速,求解船的最终位置”。当时我用很笨的方法证明船应该回到原处,随后再也没想过这个问题。后来在网上写科普,再次想起,重新证明只用了两行。贴在科学网上,想不到触发了非常激烈的论战。我当时评论道,看到正确答案还不知道是正确答案的,水平堪忧。
那么现在AI能否解决这个问题呢?
前天我买了一台基于 AMD STRIX HALO 的迷你机,它带有强大的集成显卡,8通道 128GB 内存,总带宽 275GB/s,整机最大功耗140 瓦,价格仅 2千美元。先是在Windows下测试,虽然能加载 2350亿参数的 Qwen3-235B-A22B(3比特压缩),但推理速度仅 8 toks/s。于是安装了 Linux (Ubuntu 24),编译 llama.cpp + Vulkan (Llama.cpp 是一个高度优化的LLM 模型推理工具)。LLama-bench 测试结果让人惊艳,Qwen3-235B-A22B 速度达到 18 toks/s;1200亿参数的 GPT-oss-120b 速度达到 49 toks/s;300亿参数的 Qwen3-30B-A3B 速度 88 toks/s。这个速度远超最近 NVidia 发布的 DGX SPARK。以刻舟求鱼题实测,Qwen3-30b-a3b_q4_k_m 速度 78 toks/s,且解答完全正确 ;而 GPT-oss-120b 速度约 48 toks/s ,不能说不懂物理,但显得稍笨。
可见模型大不见得就更好。有视频为证,视频没有做播放加快处理,是原始速度。