程序员门槛降低：会英文就能写代码

Codex前世

Codex要从GPT-3说起，GPT-3的出现充分证明了大力就是能出奇迹，这个训练集45TB，参数规模1750亿的GAI模型一出现就成为大众关注的焦点。

一段时间里，GPT-3作诗、作曲甚至绘画的应用层出不穷，Codex的前身应该算是可以自动生成代码的网站。

在debuild注册之后，用户只需用英语描述需求，就会自动生成相关前端的代码，一些老程序员，在IT上摸爬滚打了十多年，在一年前试过debuild的时候也很吃惊，不过这个网站只是昙花一现，现在已经被关闭了。

神迹创始人OpenAI

OpenAI最主要依赖于AI游戏强化学习模型gym在业界大放异彩，翻开OpenAI的首页，你会发现他们除了做游戏AI外，还做可以自动玩魔方的机器人。

然而，OpenAI在NLP领域迎来了华丽的转变。虽然Codex论文的官方版本还没有发表，但本质上Codex只是一个代码专用版的GPT-3。OpenAI在GPT-3论文开头直接指出，通过对大量文本的预训练和对特定任务的微调，模型的性能可以在许多NLP任务和基准测试中得到显著提高。

x轴代码模型的参数水平和纵轴代表精度，模型规模越大精度也越高，特别是参数规模达到13亿后，精度提高的速度越快。简而言之，GPT-3的胜利原因是其模型训练集特别大，参数广阔。

GPT-3最大的提升在于，它在transformer的不同层上使用了不同程度的密集和局部分散模式，我们知道理解自然语言需要注意最相关的信息。

例如，在阅读的过程中，人们往往会关注最相关的部分来寻找问题的答案。但如果不相关的内容对阅读理解有负面影响，会阻碍理解的进程，这就需要引起足够的重视。这一原理同样适用于自然语言计算系统。注意力一直是自然语言理解和自然语言生成模型中的重要组成部分。

因此，集中分布或局部分散的集中模式只集中于最大状态。通过明确的选择，只关注一小部分元素，与传统的注意方法相比，与查询高度相关的值将归为0。

新纪元究竟需要什么样的程序员？

最近推出的代码Codex可能只是OpenAI的一个尝试，直接根据产品经理的需要描述，生成一整套可执行的代码，看起来并非GPT-3这种基于现有代码训练的模型所能达到的高度，Codex本质上并不创造代码，而是代码的搬运工，这也决定了它只能模仿以前的代码，但很难有创造性的突破，所以想要AI独立完成代码任务似乎是不现实的，未来AI和人类程序员合作，由人类程序员完成功能模块的一部分，再由AI帮助续写剩余代码，这似乎是一个合理的选择。

山东济南汉码未来觉得自动化和智能AI越来越成熟了，当AI技术彻底成熟时，人们的生活会发生巨大改变