![]() |
|
AMD Instinct MI210 测试 - 可打印的版本 +- WeHack BBS (https://bbs.wehack.space) +-- 版块: 计算机技术 (https://bbs.wehack.space/forum-5.html) +--- 版块: 硬件设备讨论区 (https://bbs.wehack.space/forum-15.html) +--- 主题: AMD Instinct MI210 测试 (/thread-449.html) |
AMD Instinct MI210 测试 - vimacs - 06-22-2026 近期好像多了很多价格20000以内的AMD Instinct MI210进入市场。我就入手了一块试试。 这个卡有64G显存,如果考虑单位显存的性价比的话,实际上是和AMD Radeon AI Pro R9700和Intel Arc Pro B70差不多的,后两者还是新架构,看起来不是很划算。但是机器的PCIe槽位有限,能在单槽位配够64G显存,这个吸引力还是很大的。 供电是单8-pin接口,注意这里是个陷阱。根据AMD的官方文档(https://www.amd.com/content/dam/amd/en/documents/instinct-business-docs/product-briefs/instinct-mi210-brochure.pdf),实际供电接口是EPS 12V,也就是说要用CPU的供电口,而不是PCIe显卡通常用的PCIe 8-pin口,这样才能满足它的300W供电要求。我的电源支持双CPU,用在单CPU主板上,还多出一个用于CPU的8-pin供电口,刚好可以给它供电。 在散热方面,我弄了个主动散热改装套件,不过还是很难应付它的发热,在跑LLM推理的时候还是会跑到100度,然后就降速运行。我的建议是用rocm-smi把power cap设置到200W,就是这样也是能跑上100度的。 在软件方面,这张卡只支持ROCm,不支持Vulkan. 所以要用 llama.cpp 的话,要重新编译一个支持 gfx90a 的 ROCm 的版本,Vulkan 后端是不能用的。另外,CDNA架构是支持rocWMMA的,编译 llama.cpp 可以考虑用上它。vLLM和SGLang还没试过,vLLM文档上说是支持gfx90a的,但是SGLang好像不行。 这张卡做LLM推理还是不错的,64G显存可以支持纯GPU跑一些比较大的模型,算力也不差。就算是限制到200W,性能还是不比RX6800和W7800 32G差。 RE: AMD Instinct MI210 测试 - vimacs - 06-29-2026 测试了 vLLM, 跑 BF16 和 GPTQ-INT4 的模型速度还可以,但是跑 FP8 的模型速度很慢。 RE: AMD Instinct MI210 测试 - jaxjiang - 06-30-2026 楼主可以分享一下 MI210的常用大模型的 prefill和decode速度吗? 比如QWen3.5 27B的模型 Prefill和Decode速度咋样。 RE: AMD Instinct MI210 测试 - vimacs - 07-01-2026 (06-30-2026, 09:36 AM)jaxjiang 提到: 楼主可以分享一下 MI210的常用大模型的 prefill和decode速度吗? 我跑了一些 llama-bench 测试,测试时设置了加速器最大功率为200W. Qwen3.6-27B-UD-Q6_K_XL.gguf | model | size | params | backend | ngl | test | t/s | | ------------------------------ | ---------: | ---------: | ---------- | --: | --------------: | -------------------: | | qwen35 27B Q6_K | 23.87 GiB | 26.90 B | ROCm | -1 | pp2048 | 687.55 ± 1.54 | | qwen35 27B Q6_K | 23.87 GiB | 26.90 B | ROCm | -1 | tg128 | 24.39 ± 0.09 | Qwen3.6-27B-UD-Q8_K_XL.gguf | model | size | params | backend | ngl | test | t/s | | ------------------------------ | ---------: | ---------: | ---------- | --: | --------------: | -------------------: | | qwen35 27B Q8_0 | 32.89 GiB | 26.90 B | ROCm | -1 | pp2048 | 742.10 ± 1.37 | | qwen35 27B Q8_0 | 32.89 GiB | 26.90 B | ROCm | -1 | tg128 | 24.00 ± 0.37 | Qwen3.6-35B-A3B-UD-Q5_K_XL.gguf | model | size | params | backend | ngl | test | t/s | | ------------------------------ | ---------: | ---------: | ---------- | --: | --------------: | -------------------: | | qwen35moe 35B.A3B Q5_K - Medium | 24.76 GiB | 34.66 B | ROCm | -1 | pp2048 | 2063.28 ± 3.87 | | qwen35moe 35B.A3B Q5_K - Medium | 24.76 GiB | 34.66 B | ROCm | -1 | tg128 | 100.19 ± 0.61 | gemma-4-31B-it-UD-Q6_K_XL.gguf | model | size | params | backend | ngl | test | t/s | | ------------------------------ | ---------: | ---------: | ---------- | --: | --------------: | -------------------: | | gemma4 31B Q6_K | 25.62 GiB | 30.70 B | ROCm | -1 | pp2048 | 673.75 ± 1.87 | | gemma4 31B Q6_K | 25.62 GiB | 30.70 B | ROCm | -1 | tg128 | 21.67 ± 0.29 | Qwen3.5-122B-A10B-UD-IQ4_XS-00001-of-00003.gguf | model | size | params | backend | ngl | test | t/s | | ------------------------------------- | ---------: | ---------: | ---------- | --: | --------------: | -------------------: | | qwen35moe 122B.A10B IQ4_XS - 4.25 bpw | 56.08 GiB | 122.11 B | ROCm | -1 | pp2048 | 689.70 ± 4.45 | | qwen35moe 122B.A10B IQ4_XS - 4.25 bpw | 56.08 GiB | 122.11 B | ROCm | -1 | tg128 | 48.37 ± 0.14 | gpt-oss-120b-F16.gguf | model | size | params | backend | ngl | test | t/s | | ------------------------------ | ---------: | ---------: | ---------- | --: | --------------: | -------------------: | | gpt-oss 120B F16 | 60.87 GiB | 116.83 B | ROCm | -1 | pp2048 | 1437.80 ± 5.18 | | gpt-oss 120B F16 | 60.87 GiB | 116.83 B | ROCm | -1 | tg128 | 101.74 ± 0.09 | RE: AMD Instinct MI210 测试 - vimacs - 08-13-2026 另外,llama.cpp 的并发性能很糟糕,单任务用还可以,如果是4个任务并行跑(例如开4个subagent全用本地模型),会变得非常慢。 RE: AMD Instinct MI210 测试 - vimacs - 09-01-2026 EPS12V 和 PCIe 的 8-pin 接口实际上形状不同,正常情况下不会接错。之前我买了2个 PCIe 8-pin 转 CPU 4-pin 的线,发现也是插不上的,因为 EPS12V 的接口并不是两个 CPU 4-pin 的接口拼接到一起。 RE: AMD Instinct MI210 测试 - lucas - 10-20-2026 大佬啊,我特意为了这个帖子注册了一个账号啊。 我也买了一张MI210显卡,刚装机,也定制了外置散热。卖我显卡的商家说装机的时候,需要把一个一拖二的pcie线给用转接线转成一个8pin的,说不能直接用cpu线连接。我一下子就有点懵了,不知道哪个是对的了。然后我按照他说的方法接线以后,能够正常开机并且识别到显卡,空负载的时候也能正常使用。但是显卡的负载一高,我就能听到显卡附近传来噼里啪啦的电火花声音,不知道是从显卡内部来的,还是显卡周边原件来的,给我吓的赶紧就把电脑关了。卖显卡的人说,之前有人没按他说的方法做,就把显卡烧了。我也没什么经验,第一次装显卡,不知道该怎么搞。大佬能分享一下经验吗?我用的电源是长城巨龙G20的2000w电源,这是商家电源的海报,装机的时候漏拍了照片,直接用商家的海报,更清晰一点。不太会装这个显卡,请问我是直接买一根配套的CPU电源线,接到MI210显卡上就可以了是吗?另外显卡负载高的时候,能听见电火花声,这个情况大佬有遇到过吗? RE: AMD Instinct MI210 测试 - vimacs - 10-20-2026 (10-20-2026, 12:49 AM)lucas 提到: 大佬啊,我特意为了这个帖子注册了一个账号啊。 两种方案,要么用两个PCIe 8-pin(需要两个PCIe供电口,这样功耗才够)输入转CPU 8-pin输出,要么用你电源空闲的CPU 8-pin. 实际上用正常的电源线是不容易插错的,因为CPU的EPS 12V和PCI-e 8-pin防呆口的的形状根本不一样,接口对不上就插不进去。你按商家的方法接线能用,那就说明这个方案没问题。 两PCIe 8-pin转CPU 8-pin的线你去搜V100的供电线就行了,接口是一样的: https://item.taobao.com/item.htm?id=896189609174 我的做法是把V100的线给CPU供电了(主要是测试一下线是不是真的对),CPU的线给加速器供电。 至于显卡的声音,我也不是很清楚。 |