也被震惊到了,却是完全不一样的结果:当我在文心一言上重试一遍之前在GPT做过的......

我们非常重视原创文章,为尊重知识产权并避免潜在的版权问题,我们在此提供文章的摘要供您初步了解。如果您想要查阅更为详尽的内容,访问作者的公众号页面获取完整文章。

文心一言试用体验总结
作者在文心一言发布会当天申请试用,等待半个月后终于获得试用权限。然而,从实际体验来看,文心一言在处理代码及相关任务时表现不佳。尽管其能够基本理解代码并解释代码,但在优化代码方面表现不如GPT-4,甚至在尝试优化后代码变得更糟糕。
尝试重现成功案例的失败
作者尝试让文心一言完成此前在GPT-4上成功实现的任务,涉及从生成和细化需求到设计测试用例的完整流程。然而,文心一言的表现令人失望。虽然它能够理解作者的意图,并在交流中表现出礼貌,但其输出内容局限于错误的模板,无法进一步推进任务。作者指出其对PRD(产品需求文档)的理解存在根本性错误,甚至在纠错后仍然重复错误的模板,令人气愤。
具体功能测试的进一步失败
作者进一步尝试让文心一言针对某个具体功能生成测试用例,但依然无法突破错误模板的限制。文心一言无法完成任务,更不要说实现复杂的流程和生成有效的测试用例。这与作者此前在GPT-4上的体验形成鲜明对比。
文心一言与GPT-4的差距
作者总结文心一言目前的表现,与GPT-4相比差距较大。文心一言更像是套了一层壳的百度搜索,无法胜任复杂任务。尽管如此,作者希望文心一言的不足能够成为鞭策其改进的动力,期待未来有更优秀的表现。
参考GPT-4的出色表现
作者提及了GPT-4在代码评审、重构以及设计测试用例方面的良好表现,并建议读者参考相关案例以了解高效的使用方法。
想要了解更多内容?

本公众号致力于健康、安全、绿色的软件生态,分享软件质量管理、软件测试的思想、方法、技术与优秀实践,追踪软件质量领域的热点,及时报道软件质量管理的成功案例或质量事故,以及分享深度思考、有温度的技术文章等,努力成为您工作中的朋友。


白皮书上线