2023年很神奇，似乎进入到一个古代炼金术时代。
下面这个两个可能会深远影响人类文明的事情，在我看来，似乎一个小共性。
另：《Alchemist》是一本我在大学时代就非常喜欢的书，这本书也影响了我很多，我觉得用作本文的标题也是挺有意思的。
AI
比喻
// 以下内容来自我跟Claude 2的对话
对OpenAI/GPT/ChatGTP的诞生做一个易懂的”炼金术”比喻,可以这样描述:
OpenAI就像一位心怀天下,想要造福苍生的炼金术士。多年来,OpenAI收集各地的文字、数据,就像炼金术士收集过许多稀世材料。
GPT模型的训练就像是炼金术士建造的一个巨大的熔炉,海量的数据被投入熔炉中,经过反复的运算提炼,逐步淬炼出了神奇的“生命之息”。
ChatGPT则像是一个会说话的“智慧魔偶”,它仿佛拥有自己的生命,能够以人类语言流畅交流。这就如同炼金术士成功将“生命之息”赋予了器物,造就出了魔幻的成果。
开发ChatGPT需要海量算力,就像炼金需要消耗巨大能量一样,其难度可想而知。最终 ChatGPT的诞生,就仿佛炼金术士完成了一项传说级的伟业,对世界产生深远影响。
挑战
OpenAI在早期阶段使用了大量的计算资源和巨大的参数量来训练他们的模型,这在当时的AI界并不被主流所接受,有以下几点原因:
- 计算资源成本高昂
在当时,大量GPU进行分布式训练需要非常高昂的成本,这被视为一种低效的方法。许多研究者更倾向于通过算法创新来提高模型效果。 - 参数量大到离谱
早期的模型参数量通常在几百万至几千万量级,而OpenAI提出了亿量级的参数量,被认为是“参数量暴增”,不必要地追求规模化。 - 担忧过拟合
巨大参数量被认为更容易过拟合训练数据,将难以泛化到真实场景。 - 质疑实际效果
没有明确的实验结果表明参数量的增加一定能带来效果的提升,所以大参数量的做法存在争议。 - 模型效率不高
并非所有的参数都在模型训练中发挥了作用,存在“冗余参数”的问题,被视为一种低效的方法。
但是,随着GPT-3和DALL-E的诞生,OpenAI证明了参数量的增加确实能带来模型性能的qualitative提升,从而改变了业界的看法。但如何更加高效地使用参数仍然是一个值得探索的问题。
以上内容来自我跟Claude 2的对话 //
常温超导
但这次韩国团队公布的办法堪比古代炼金术，就是把一堆粉末材料扔炉子里烧，烧完了里面就出超导体了，设备要求低到高中实验室就可以做，流程简单到谁都可以弄。
以下就是足以颠覆全世界的，超导晶体LK-99的制备工艺，理论上来说每个字都能带来万两黄金的收益。
- 第一步：
买一点氧化铅和硫酸铅粉末，按照1比1的比例放入坩埚中均匀混合，在空气中加热至725度烧24小时，得到黄铅矿晶体。 - 第二步：
把铜单质和磷粉末放入真空管，然后在坩埚里以480度的温度加热48小时，得到磷化亚铜晶体。 - 第三步：
把前两步烧制出来的两种晶体研磨成粉末后放入真空管，在坩埚里以925度加热5~20个小时，然后你就得到了一种铜掺杂的铅磷灰石，也就是LK-99晶体，具备常压室温超导性能。
氧化铅、硫酸铅和铜单质，都是超级普通的不值钱材料，到处都是，换句话说这个制备流程里最昂贵的居然是那个能加热的坩埚，而哪怕是高中实验室里都会有坩埚。
只要你拥有一个坩埚，按照上述流程去做，然后你就可以烧出常温超导体，所以最近几天连下面这种环境的普通实验室都去烧常温超导体了。
简直就是手搓超导体，一种村民向你分享光速飞船制造技术的感觉。如果这玩意是真的，那这么多年来全球各国超导领域顶级实验室的大牛们，人生观都会被彻底颠覆，下半辈子都会陷入迷茫，不知道自己的工作还有什么意义。