AI替换了程序员？最新测试的结果恰恰相反

AI编程已成为生成AI实施中最受欢迎的曲目之一。但是，由一组科学研究发表的论文由国际算法奥运会“飞溅的冷水”以及AI编程一起发表。 AI的优势在于由国际算法奥运会竞争中的金牌组成的“知识”科学研究团队，该竞赛已经测试了共同的大型市场模型产品（包括20个顶级大型模型，例如GPT-4O，DeepSeek R1，Claude 3等）（LLMS是计划竞赛中的奖牌获得者？）。该测试的主要内容是：LiveCodeBench Pro的基准测试，该测试包括主要事件（例如CodeForces，ICPC和IOI）的问题。在此过程中，ITHIS将继续进行更新，以减少数据污染的可能性。总共已经设置了584个编程问题。他们宣布了每个问题的算法类别，并审查了失败的提交生命由型号按线进行。在贫困级别的设置方面，团队使用CodeForces Elo的方法来标记贫困。官方ELO评级为≤2000的问题被标记为“简单”：世界一流的玩家通常使用本书的标准方法和观察结果解决约15分钟；中级水平（2000〜3000）包含需要整合两个或多个成熟ematormithm的问题，并结合了非虚假推理和观察； 3000评级的任何问题都被认为是“困难”的 - 这通常取决于超复杂，模糊的推导或减少，这需要掌握算法理论和深度的数学直觉。超过99.9％的参与者无法解决，即使是实时比赛中最强大的球员也有时已经解决。在困难问题中，只有53％的中等困难和0％的次数，这些地方是人类专家的力量。推理性能似乎是由我驱动的介绍准确性并增强工具，而不是更好的推理。同时，团队还审查了大型模型在某些方面失败的原因，审查表明，LLM代码通常更可靠地语法，但与正确的算法进行了斗争或从问题中正确观察到所需的先进推理所需的高级推理。尽管我们的正式评论仅涵盖O3-Mini提交，但初始手册检查表明大多数现有LLMS共享相同的错误模式。在试验之后，团队得出了四个结论：首先，当前模型在密集的问题中更结构化和知识渊博（需要比减少更多的逻辑推导），但比需要观察和创造力的观察结果要差得多。 O4-Mini高的作用仅在组合数学，细分树和动态编程问题中超出主的水平。其次，概念错误是mod的主要原因与人类专家相比，EL失败。 LLM经常在提供的样本输入中失败，表明给定信息的使用不完整，即使在简单的情况下也有改进的余地。第三，构想模型在组合数学和密集的问题中表现出了非熟年模型的显着改善，而观察问题的好处是有限的。第四，尽管该模型的总体性能可以通过增加尝试数量来显着提高，但仍然很难解决高差异水平的检测。人工智能编程已成为“必须战斗军事战略的地方”。尽管测试结果令人不愉快，但AI编程已成为主要技术制造商应为之奋斗的市场，也是他们正在进行的AI故事中不可或缺的一部分。例如，Microsoft基于GPT-4模型启动了GitHub Copilot，以提供代码完成，生成功能和错误修复，支持许多想法（例如VS代码和Jetbrains），并添加了一个“代理”功能来独立执行发展任务； Openai启动了Codex代理，支持代码生成和复杂的任务处理，并深入集成到GitHub中； Google推出了Gemini 2.5 Pro和Julesai代理服务； Bytedance推出了一个本机IDE AI，其中包括Claude 3.7和GPT-4O的模型，以支持原型制作的快速开发，并为Marscode提供了一站式开发平台； Meituan推出了AI编程工具“ Nocode” ...........当前发展趋势的决定，国内和国际技术公司的重点是不同的，国际制造商强调的不仅仅是智能机构和复杂的任务处理。诸如Tongyi Lingcode和Trae之类的国内工具会注意当地适应和快速发展。当今，AI编程非常受欢迎，这也引起了一些程序员担心他们可能被AI“取代”。如何曾经，在上面提到的团队测试中，不难看出，在某些情况下，在某些情况下，程序员具有很高的价值，并且他们的能力自然是AI的。因此，即使AI编程已成为一条流行的曲目，对于企业来说，一个经验丰富的程序员可以很难和“创造力”工作仍然是商业数字化过程的骨干。大型模型对密集知识只有很大的好处，而不仅仅是在编程领域。在与许多行业专家的先前交流中，他们还告诉我，大型模型的当前有用情况主要集中在密集知识上。在这些情况下，人工智能可以帮助企业降低成本并提高效率，但是这种能力仍然远非我们期望成为可以与一般情况协调的代理商。当AI可能能够解决IOI的金牌问题时，人工智能一般八世确实是来的。注意：文本/张·谢尤（Text/Zhang Shenyu），文章来源：钛媒体（公共帐户ID：TAIMEITI），本文是集合的独立观点，不代表Yevang Dynamics的位置。