研究人员利用 GitHub 数据评估 ChatGPT 对软件开发的影响
realtime news Jul 17, 2024 20:39
经济学研究人员利用 GitHub 创新图数据评估 ChatGPT 对软件开发的影响，突显了开发者参与度的显著增加。
经济学研究人员正在利用 GitHub 的创新图数据来衡量生成性 AI 工具，特别是 ChatGPT，对软件开发活动的影响。这项研究在 GitHub 博客发表的一次采访中进行了详细介绍，揭示了因果推断技术如何用于评估 AI 对编码实践的影响。
分析 ChatGPT 的影响
世界银行的初级研究员亚历山大·奎斯佩和因果推断领域的数据科学家罗德里戈·格里哈尔巴进行了 GitHub 创新图数据的深入分析。他们的研究重点是 ChatGPT 对软件开发速度的影响。根据他们的发现，引入 ChatGPT 后：
- 各国每 10 万居民的 Git 推送数量显著增加。
- 与每 10 万居民的存储库和开发人员数量的正相关性虽不显著，但仍然存在积极影响。
- 增强了开发人员的参与度，尤其是在 Python 和 JavaScript 等高级编程语言中。
研究结果表明，ChatGPT 主要加速了现有的开发过程，而不是增加开发人员或项目的数量。
研究方法
研究人员采用了各种面板数据的比较方法，包括合成差异中的差异（SDID），以估算 ChatGPT 可用性的平均处理效应。奎斯佩解释说，这些方法有助于比较处理组和未处理组，从而估算 ChatGPT 对软件开发活动的影响。
格里哈尔巴强调了 GitHub 创新图数据的实用性，它提供了国家和语言级别的聚合数据，有助于创建控制组和处理组。这使得按编程语言进行详细分析成为可能，揭示了在 Python、JavaScript 和 TypeScript 等语言中开发人员活动的显著增加。
挑战与未来方向
奎斯佩指出的一个挑战是某些国家可能利用 VPN 绕过 ChatGPT 限制，这可能影响研究的控制组有效性。然而，现有研究表明，这种障碍仍然显著阻碍了广泛采用。
展望未来，奎斯佩计划使用软件开发人员级别的行政数据进行类似分析，以比较具有 GitHub Copilot 等 AI 工具访问权限的开发人员的生产力提升。这项未来的研究可能会深度洞察 AI 辅助开发工具对个人生产力和软件实践的影响。
对政策制定者和开发人员的影响
研究结果表明，像 ChatGPT 和 GitHub Copilot 这样的 AI 工具可能会成为软件工程的标准工具。政策制定者应考虑支持这些工具的整合，以提高生产力并促进经济增长。开发人员被鼓励采用 AI 工具以提高效率，并专注于软件工程的更复杂方面。
研究人员的个人见解
奎斯佩和格里哈尔巴分享了他们在经济学、数据科学和软件开发交叉领域的经历。奎斯佩强调了掌握算法、线性代数和版本控制的重要性，而格里哈尔巴则强调了在学习过程中浸入和直觉的价值。他们都承认生成性 AI 工具对其工作的变革性影响，尤其是在加速代码转换和提高生产力方面。
对于刚入门软件工程或研究的人士，研究人员建议关注基础技能并跟踪 AI 和因果推断技术的进展。他们还推荐了一些有价值的学习资源，包括杰弗里·M·伍德里奇的《现代方法导论》和 Chernozhukov 等人的《由机器学习和 AI 驱动的应用因果推断》。
他们的持续研究和合作强调了 AI 工具对软件开发和经济研究的革命性潜力。
Image source: Shutterstock