国盛海外：夏君/朱若菲/刘澜/刘玲

在基于阿里大模型的“通义千问”开启测试之后，我们对阿里“通义千问”和百度“文心一言”进行了一手测评。

鉴于二者都有自己各自擅长的能力，如百度强调文心一言具有“ 文学创作、商业文案创作、数理推算、中文理解、多模态生成 ”五大能力，阿里强调通义千问除基础问答外还有“ 写提纲、SWOT分析、商品描述生成、会放飞的菜谱、小学生作文、然后呢、彩虹屁专家、写情书、为你写诗 ”九大百宝箱，因此我们针对以上相关维度，通过同样的问题进行了二者的测评。

我们的测评核心围绕以下维度（样本有限，仅供参考交流）：

阿里“通义千问”目前只支持文字（包括自然语言及代码）的输入和输出。而百度“文心一言”除文字外，还支持图像输出。

阿里“通义千问”：

百度“文心一言”：

在我们的测试中，阿里“通义千问”对上下文的关联（前一个对话中的“座舱交互”场景）捕捉十分准确。百度“文心一言”的回答则仅就当前一轮提问而忽略了上文场景。

阿里“通义千问”：

百度“文心一言”：

确实如百度强调的，文心一言在基础的数理推算更胜一筹。阿里通义千问在这一层面表现不佳，而百度文心一言推算准确、且在我们调整了参数后始终回答准确。

阿里“通义千问”：

百度“文心一言”：

在我们的测试例子中，阿里“通义千问”面对可能引起混淆的名词、具有更好的知识储备和准确理解。百度“文心一言”则捕捉了混淆的信息。

阿里“通义千问”：

百度“文心一言”：

尽管二者都存在一些基础错误，但都能够从不同维度对商品进行归纳和推介。相比之下，阿里“通义千问”的电商文案的推介维度更多、归纳要点更清晰。

阿里“通义千问”：

百度“文心一言”：