NVIDIA 率先采用加速计算应对原本无法解决的挑战。在 AI 和计算机图形领域,我们的研究成果正在改变总价值达 100 万亿美元的各行各业(包括游戏、医疗健康和交通运输),并对社会产生了深远的影响。
我们正在应对世界上最大的挑战 —— 从气候变化到医疗健康行业,再到自动驾驶汽车。
斯坦福大学领导团队在短短 5 小时内对整个人类基因组进行了测序,创下了世界纪录。
斯坦福大学研究人员与 NVIDIA 还有其他相关公司及组织共同创造了世界纪录。
NVIDIA 医疗健康业务副总裁 Kimberly Powell 在颁奖活动上表示:“我们一致认为这项成就是必将载入史册的奇迹,会激发数字生物学领域未来五年,甚至十年的创新,而基因组学将位于最前沿。”
5小时!斯坦福大学研究人员创造DNA测序技术吉尼斯世界纪录
GPT-3 的突破性成果正大大加快自然语言理解的飞速发展。
OpenAI 研究人员2022年发布了研究报告描述 GPT-3 ,一个由 1750 亿个参数组成的最先进的语言模型。
相比之下,以前的版本 GPT-2 由 15 亿个参数组成。微软本月早些时候发布了最大的基于 Transformer 的语言模型,该模型由 170 亿个参数组成。
“ GPT-3 在许多自然语言处理数据集上取得了很好的性能,包括翻译、问答和完形填空任务,以及一些需要动态推理或领域调整的任务,如解译单词、在句子中使用新单词或执行 3 位数算术,”研究人员在其研究报告中表示 纸张 “我们发现, GPT-3 可以生成新闻文章样本,人类评估人员难以将其与人类撰写的文章区分开来。”
自然语言处理任务从生成新闻文章、语言翻译到回答标准化测试问题。
该组织表示:“每个模型的精确架构参数是基于计算效率和 GPU 模型布局中的负载平衡来选择的。” 规定的 “所有模型都接受过训练 NVIDIA V100 GPU 作为 Microsoft 提供的高带宽集群的一部分。”
OpenAI 在 cuDNN 加速的 PyTorch 深度学习框架上训练他们所有的 AI 模型。
2022年,微软和 OpenAI 宣布了一款专为该组织设计的新的 GPU 加速超级计算机。
“为 OpenAI 开发的超级计算机是一个单一系统,每个 GPU 服务器拥有超过 285000 个 GPU 核、 10000 个 GPU 和每秒 400 千兆位的网络连接,”这些公司在 博客 里的一份声明中表示 .
在性能方面,新的 GPT-3 模型在 SuperGLUE 基准上取得了接近最先进的结果,去年引入该基准测试推理和其他高级 NLP 任务。在包括 COPA 和 ReCoRD 在内的其他基准测试中,该模型与上下文分析( WIC )和一组中学和高中考试题 RACE 相比都有不足。
该组织说:“尽管存在许多局限性和弱点,但这些结果表明,非常大的语言模型可能是开发适应性强的通用语言系统的一个重要因素。”。
欢迎分享,转载请注明来源:内存溢出
评论列表(0条)