Fun-ASR-Nano-2512 无法fp16模式推理

[kenneth55555]

model = AutoModel(
    model="FunAudioLLM/Fun-ASR-Nano-2512",
    device="cuda:0",
    disable_update=True,
    # fp16=True          暂时无用

)
添加 fp16=True ，可以成功加载该模型至fp16模式，但是在推理时，报错
raceback (most recent call last):
File "E:\Workspace\Python\Asr\toPickle.py", line 79, in
rec_result = model.generate(
^^^^^^^^^^^^^^^
File "E:\Workspace\Python\venv\FunASR\funasr\auto\auto_model.py", line 324, in generate
return self.inference(
^^^^^^^^^^^^^^^
File "E:\Workspace\Python\venv\FunASR\funasr\auto\auto_model.py", line 381, in inference
res = model.inference(**batch, **kwargs)
^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^
File "E:\Workspace\Python\venv\FunASR\funasr\models\fun_asr_nano\model.py", line 603, in inference
return self.inference_llm(
^^^^^^^^^^^^^^^^^^^
File "E:\Workspace\Python\venv\FunASR\funasr\models\fun_asr_nano\model.py", line 621, in inference_llm
inputs_embeds, contents, batch, source_ids, meta_data = self.inference_prepare(
^^^^^^^^^^^^^^^^^^^^^^^
File "E:\Workspace\Python\venv\FunASR\funasr\models\fun_asr_nano\model.py", line 494, in inference_prepare
encoder_out, encoder_out_lens = self.encode(speech, speech_lengths)
^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^
File "E:\Workspace\Python\venv\FunASR\funasr\models\fun_asr_nano\model.py", line 279, in encode
encoder_out, encoder_out_lens = self.audio_encoder(speech, speech_lengths)
^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^
File "E:\Workspace\Python\venv\Lib\site-packages\torch\nn\modules\module.py", line 1751, in _wrapped_call_impl
return self._call_impl(*args, **kwargs)
^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^
File "E:\Workspace\Python\venv\Lib\site-packages\torch\nn\modules\module.py", line 1762, in _call_impl
return forward_call(*args, **kwargs)
^^^^^^^^^^^^^^^^^^^^^^^^^^^^^
File "E:\Workspace\Python\venv\FunASR\funasr\models\sense_voice\model.py", line 568, in forward
encoder_outs = encoder_layer(xs_pad, masks)
^^^^^^^^^^^^^^^^^^^^^^^^^^^^
File "E:\Workspace\Python\venv\Lib\site-packages\torch\nn\modules\module.py", line 1751, in _wrapped_call_impl
return self._call_impl(*args, **kwargs)
^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^
File "E:\Workspace\Python\venv\Lib\site-packages\torch\nn\modules\module.py", line 1762, in _call_impl
return forward_call(*args, **kwargs)
^^^^^^^^^^^^^^^^^^^^^^^^^^^^^
File "E:\Workspace\Python\venv\FunASR\funasr\models\sense_voice\model.py", line 388, in forward
self.self_attn(
File "E:\Workspace\Python\venv\Lib\site-packages\torch\nn\modules\module.py", line 1751, in _wrapped_call_impl
return self._call_impl(*args, **kwargs)
^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^
File "E:\Workspace\Python\venv\Lib\site-packages\torch\nn\modules\module.py", line 1762, in _call_impl
return forward_call(*args, **kwargs)
^^^^^^^^^^^^^^^^^^^^^^^^^^^^^
File "E:\Workspace\Python\venv\FunASR\funasr\models\sense_voice\model.py", line 229, in forward
fsmn_memory = self.forward_fsmn(v, mask, mask_shfit_chunk)
^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^
File "E:\Workspace\Python\venv\FunASR\funasr\models\sense_voice\model.py", line 139, in forward_fsmn
x = self.fsmn_block(x)
^^^^^^^^^^^^^^^^^^
File "E:\Workspace\Python\venv\Lib\site-packages\torch\nn\modules\module.py", line 1751, in _wrapped_call_impl
return self._call_impl(*args, **kwargs)
^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^
File "E:\Workspace\Python\venv\Lib\site-packages\torch\nn\modules\module.py", line 1762, in _call_impl
return forward_call(*args, **kwargs)
^^^^^^^^^^^^^^^^^^^^^^^^^^^^^
File "E:\Workspace\Python\venv\Lib\site-packages\torch\nn\modules\conv.py", line 375, in forward
return self._conv_forward(input, self.weight, self.bias)
^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^
File "E:\Workspace\Python\venv\Lib\site-packages\torch\nn\modules\conv.py", line 370, in _conv_forward
return F.conv1d(
^^^^^^^^^
RuntimeError: expected scalar type Float but found Half
0%| | 0/1 [00:00<?, ?it/s]

[LauraGPT]

更正一下之前的回复：dtype="bf16" 不是 AutoModel 这条 PyTorch 推理路径的精度开关；也不要把 fp16=True 或 bf16=True 放在 AutoModel(...) 构造器中。

这个报错与 GPU 型号无关，根因是构造器中的 fp16=True 会把整个模型转成 FP16，其中包括必须保持 FP32 的 SenseVoice 音频编码器；输入和部分算子仍是 FP32，因此会出现 Float / Half dtype mismatch。

请先升级到包含 #2978 修复的版本（最早为 1.3.10，当前为 1.3.14），然后只在 generate() 阶段启用 BF16：

python -m pip install -U "funasr>=1.3.10"

from funasr import AutoModel

model = AutoModel(
    model="FunAudioLLM/Fun-ASR-Nano-2512",
    hub="hf",
    trust_remote_code=True,
    device="cuda:0",
    disable_update=True,
    # 这里不要传 fp16=True、bf16=True 或 dtype=...
)

result = model.generate(
    input="audio.wav",
    batch_size=1,
    language="中文",
    itn=True,
    bf16=True,  # 精度参数放在 generate()；音频编码器保持 FP32，LLM 使用 BF16
)
print(result[0]["text"])

如果 GPU 不支持 BF16（例如 V100），请去掉 bf16=True，使用默认 FP32 解码。

不建议改成 model.generate(..., fp16=True)。FP16 虽然可以避开原来的 dtype 崩溃，但 Fun-ASR-Nano 的音频嵌入/LLM 路径可能发生数值溢出并产生错误文本；仓库已在 #2980 中对此作出警告。

我用官方 checkpoint revision 272c57b8 和官方中文样例在 H100 上重新验证了 PyPI funasr==1.3.14：

• 默认 FP32：输出 开放时间早上九点至下午五点。
• generate(..., bf16=True)：音频编码器/适配器保持 FP32、LLM 为 BF16，输出同样正确
• AutoModel(..., fp16=True)：复现 mat1 and mat2 must have the same dtype, but got Float and Half
• generate(..., fp16=True)：连续复现 512 个 !，属于无效识别结果

因此，这个模型当前可靠的低精度方案是 BF16 仅用于 generate() 的 LLM 解码阶段，不是整个模型 FP16。