本文探讨了人工智能代码生成器，特别是OpenAI的ChatGPT在编写代码方面的表现。我们将分析其在不同编程语言和任务难度上的成功率，并深入研究其在处理新算法问题时的局限性。通过了解这些局限性，开发人员可以更好地利用AI工具来提升生产率和代码质量。
引言
几十年来，程序员们一直在为人工智能模型编写代码，而现在，人工智能被用来编写代码。这种转变标志着技术发展的一个重要里程碑。然而，人工智能代码生成器，如OpenAI的ChatGPT，与人类程序员相比到底如何呢？最近发表在六月刊《IEEE 软件工程论文集》上的一项研究对这一问题进行了深入探讨。
ChatGPT的代码生成能力
成功率的多样性
研究显示，ChatGPT在生成功能代码方面的成功率范围极广——根据任务难度、编程语言和其他因素的不同，成功率从0.66%到89%不等。这种广泛的成功率表明，虽然AI在某些情况下可以生成高质量的代码，但其表现仍然存在显著的波动性。
表1：ChatGPT在不同任务难度和编程语言上的成功率
| 编程语言 | 简单任务 | 中等任务 | 困难任务 |
|---|---|---|---|
| C | 89% | 71% | 40% |
| C++ | 85% | 68% | 35% |
| Java | 88% | 70% | 38% |
| JavaScript | 87% | 69% | 36% |
| Python | 89% | 71% | 40% |
优势与局限性
Yutian Tang，格拉斯哥大学的一名讲师，参与了这项研究。他指出，基于人工智能的代码生成可以在提高生产率和自动化软件开发任务方面提供一些优势，但重要的是要了解这些模型的优势和局限性。通过全面分析，可以发现基于ChatGPT的代码生成过程中出现的潜在问题和限制，从而改进生成技术。
ChatGPT在解决LeetCode问题中的表现
为了更详细地探讨这些局限性，Tang的团队测试了GPT-3.5解决LeetCode测试平台上五种编程语言中728个编程问题的能力。这五种编程语言分别是C、C++、Java、JavaScript和Python。
处理旧问题的优势
研究发现，ChatGPT在解决2021年之前LeetCode上存在的编程问题时表现出色。例如，它能为简单、中等和困难的问题生成功能代码，成功率分别约为89%、71%和40%。
处理新问题的局限性
然而，当遇到2021年后的算法问题时，ChatGPT生成功能正确代码的能力显著下降。它有时甚至无法理解问题的含义，即使是简单的问题也是如此。例如，在2021年之后，ChatGPT为“简单”编程问题生成功能代码的能力从89%降至52%，而在2021年之后，它为“难”问题生成功能代码的能力也从40%降至0.66%。
原因分析：训练数据的影响
对于ChatGPT为什么能在2021年之前更好地处理算法问题，一个合理的假设是，这些问题经常出现在训练数据集中。随着编程技术的发展，ChatGPT还没有接触到新的问题和解决方案。它缺乏人类的批判性思维能力，只能解决以前遇到过的问题。这也解释了为什么ChatGPT在解决旧的编程问题方面比解决新的问题要好得多。
代码质量与安全性
运行时间和内存开销
有趣的是，ChatGPT生成的代码的运行时间和内存开销比人类解决相同LeetCode问题的至少50%的方案都要小。这表明AI生成的代码在某些方面可能更加优化。
漏洞问题
然而，研究人员也发现，ChatGPT生成的代码确实存在相当多的漏洞，比如缺失空值测试，但其中很多都很容易修复。用C语言生成的代码最为复杂，其次是C++和Python，其复杂程度与人类编写的代码类似。
改进建议
基于这些结果，使用ChatGPT的开发人员必须提供更多信息，以帮助ChatGPT更好地了解问题或避免漏洞。例如，在遇到比较复杂的编程问题时，开发人员可以尽可能提供相关知识，并在提示中告诉ChatGPT哪些是需要注意的潜在漏洞。
Tang解释说：”ChatGPT可能会因为不理解算法问题的含义而生成错误代码，因此这种简单的错误反馈信息是不够的。”
提供反馈和指导
研究人员还探索了ChatGPT在收到LeetCode的反馈后修正自身编程错误的能力。虽然ChatGPT擅长修正编译错误，但它通常不擅长纠正自己的逻辑错误。这表明开发人员在使用AI生成代码时，需要提供更详细和明确的反馈，以帮助AI更好地理解和解决问题。
结论
人工智能代码生成器如ChatGPT在编写代码方面展示了显著的潜力，但其表现受到训练数据的限制。随着编程技术的发展，AI需要不断更新和扩展其知识库，以应对新的挑战。开发人员在使用AI工具时，需意识到这些局限性，并通过提供详细的指导和反馈来提高代码质量和安全性。