技术文章
article
热门搜索： 
当前位置： 开云(中国)Kaiyun官方网站 > 技术文章
更新时间：2024-08-30
点击次数： 【新智元导读】世界首个能写完整会议论文的「AI科学家」来了！不仅只需15美元就能写一篇论文，而且质量也已被「AI审稿人」判定为达到了机器学习顶会Weak Accept的水准。
从提出研究想法、实验、写代码，再到GPU上执行实验，收集结果，AI承包了整个机器学习研究的全过程。
更让人难以置信的是，从构思到成文，一篇论文的成本仅需15美金（107.61元）。
关键是，最后连审稿也由AI自己完成，而且近乎真人的表现。论文审查的成本，也不到0.5美元。
研究称，经AI审稿人评判，「AI科学家」完全具备在ML国际顶会，发表可以被接收论文的能力。
几十年来，每次太欣新材料科技AI取得重大进展后，AI研究员常开玩笑说，「只需要想办法让AI为我们写论文就行了」！
他们认为，这将标志着科学发现新纪元的开始：将AI智能体的变革优势带入整个研究过程中，包括AI自身的研究。
想想看，从此我们的每个想法都能被实施，发展成一篇完整的论文，而且只要花15美金。
Sakana AI的研究者们预言，AI科学家让我们更接近这样一个世界：人类可以释放出无穷的、可负担的创造力，来解决世界上最具挑战性的问题！
在185页的论文中，来自Sakana实验室、牛津大学、哥伦比亚大学等机构研究人员将所有的设计框架做了出来。
AI系统会使用Semantic Scholar来检查这些idea是否足够新颖，为其「有趣程度」和「新颖性」进行打分。
最终，得到所有实验结果后，LLM会以LaTeX模板，撰写完整的论文，并以人类可理解方式呈现结果。
通过模拟NeurIPS同行评审过程，AI做出反馈，包括缺点、优点、数值评分和最终的决定。
如上所述，先给定一个起始代码模板，AI科学家可以自由探索，构思写作方向。
模板中，可能包括一个LaTeX文件夹，里面有用于论文写作的样式文件和章节标题。让AI自主搜索Semantic Scholar，确保提出的想法是最新的。
到了第二阶段，AI科学家首先要执行实验，通过生成图表方式，给出可视化结果。
在这个过程中，它会记录实验过程，每个图表包含的内容、注释，为论文撰写材料做准备。
AI科学家使用机器学习顶会，标准的格式LaTeX撰写论文，生成一份简洁、信息丰富的报告。
关于论文引用方式，它会利用Semantic Scholar，自主找到相关内容去引用。
如下实验结果显示，在评估来自ICLR 2022 500篇论文时，GPT-4o在单个样本情况下，平均准确度与人类近似。
这相当于建立一个开放式的反馈循环，AI利用先前的想法和反馈，改进下一代想法，从而模拟人类科研的方式。
只有与最先进的LLM相结合，AI科学家的论文能够被AI审稿员，评判为顶会中「弱接受」（Weak Accept）的论文。
Sakana AI的研究者们甩出的这些演示，显示出AI科学家在机器学习研究的不同子领域进行学术研究的能力，是多么游刃有余。
比如下面这篇「自适应双尺度去噪」的论文，虽然存在一些缺陷（比如对方法成功原因的解释，不够令人信服），但论文提出了一个有趣的新方向。
这个方向，在AI科学家自己和同行评审的实验中，已经显示出了良好的实证结果。
具体来说，本文介绍了一种自适应双尺度去噪方法，专为低维扩散模型设计，旨在解决生成样本时全球结构与局部细节之间的平衡挑战。
虽然扩散模型在高维空间中表现出色，但其在低维数据中的应用仍然对理解基本模型行为和解决具有内在低维数据的实际应用至关重要。
然而，在这些空间中，传统模型往往难以同时捕捉宏观模式和细粒度特征，导致样本质量不佳。
为此，AI提出了一种新颖的架构，包含两个并行分支：一个处理原始输入的全局分支和一个处理放大版本的局部分支，并通过一个可学习的、时间步长条件的加权机制动态平衡它们的贡献。
在四个不同的二维数据集上评估了自己方法：circle、dino、line和 moons。
结果显示，与基线模型相比，样本质量显著提高，KL散度最多减少 12.8%。
总之，这项工作不仅增强了低维扩散模型，还提供了可能用于改善高维领域的见解，为在各种应用中推进生成建模开辟了新途径。
而在这篇文章中，AI发明了一种多风格适配器，这是一种增强字符级语言模型风格意识和一致性的新方法。
这种多风格适配器通过引入可学习的风格嵌入和风格分类头，解决了风格一致性的问题。
它与StyleAdapter模块协同工作，以调节基于Transformer语言模型的隐藏状态。
在这篇文章中，AI探讨了将强化学习应用于Transformer模型训练过程中动态调整学习率的方法，旨在通过根据训练进度自动调整学习率，来提高训练效率和模型性能。
这项研究的挑战性非常大，因为训练过程并不平稳，但又需要一种稳健的方法，来平衡学习率调整中的探索与利用。
AI提出了一种基于Q-learning的方法，将验证损失和当前学习率作为状态，调整学习率以优化训练过程。
最后这篇文章，研究了权重初始化策略对Transformer模型中顿悟现象的影响太欣新材料科技。
AI系统地比较了五种初始化方法（PyTorch默认、Xavier、He、正交和Kaiming正态）在有限域的四个算术任务中的表现。
AI的发现，为理解顿悟现象的机制提供了见解，并为类似学习场景中的初始化提供了实用指导。
根据介绍，今年，Sakana AI的研究者们开发了一套方法，能够自动合并多个LLM的知识。
在最近的工作中，他们又发现，LLM可以通过发现新的目标函数，来微调其他LLM。
由此，他们就有了更大胆的设想：是否可以太欣新材料科技使用基础模型，把整个学术研究的过程都自动化？
以前，前沿模型早就被用来帮助人类科学家来集思广益，或者写代码，但他们仍需要大量的人工监督太欣新材料科技，或是受限于特定的任务。
在一次运行中，AI编辑了代码，以执行系统调用来运行自身。这导致脚本限循环调用代码。
不过，研究人员称，通过对AI科学家的操作环境进行沙盒化，可以缓解这些问题。
它的出现，虽代表着LLM进行创造性发现，迎来自动化科学研究新曙光，但带来的问题同样让人忧心忡忡。
AI自动撰写论文，并将提交论文给顶会/期刊，而且质量无从保证，可能会大大增加审稿人的工作量。
毕竟，之前研究人员使用Midjourney生成论文的插图闹出了大笑话，直接被撤稿。
如果它被鼓励寻找新颖、有趣的生物材料，并且还能访问云实验室，它也许就可能会创造出新型的危险病毒。
要知道，AI科学家的能力，只会不断提高，这就要求机器学习社区需要首先优化学习，如何让AI科学家探索时更安全太欣新材料科技、更符合我们的价值观。
在研究者过程中，他们使用了各类专有的前沿大模型（如GPT-4o和Sonnet），以及DeepSeek和Llama-3这样的开放模型。
研究者认为，开放模型的好处是显著的，它们成本更低、可用性能保证，还具有更大的透明度和灵活性。
在未来，他们的目标是在一个闭环系统中使用开放模型，来产生自我改进的AI研究。
本文为澎湃号作者或机构在澎湃新闻上传并发布，仅代表该作者或机构观点，不代表澎湃新闻的观点或立场，澎湃新闻仅提供信息发布平台。申请澎湃号请用电脑访问。
