【阅读笔记】吴恩达21年AI进展与展望

【阅读笔记】吴恩达21年AI进展与展望

看到资讯的原文出处：

吴恩达：回顾2021，这些大事件影响了AI这一年 (qq.com)

此处仅做个人阅读的学习摘要。

1.多模态AI：“但过去十年中，计算机视觉与自然语言处理已经在神经网络中得到有效融合，也让二者的最终合璧成为可能 —— 甚至音频集成也获得了参与的空间。”

2.万亿级参数：从 BERT（1.1 亿）、GPT-2（15 亿）、MegatronLM（83 亿）、Turing-NLG（170 亿）、GPT-3（1750 亿）到Switch Transformer（1.6万亿）、悟道2.0（1.75万亿），已经进入了万亿级参数。

        挑战：

        a)数据：数据质量直接决定模型质量，但却一直未能就大规模、高质量数据集的有效编译方法达成共识。

        b)速度：如今的硬件仍难以处理大体量模型，当数据反复出入内存时，模型的训练和推理速度都会受到严重影响。

                模型上：为了降低延迟，Switch Transformer 背后的谷歌团队开发出一种方法，能够让各个 token 只处理模型各层中的一个子集。他们的最佳模型预测速度甚至比参数量只有其三十分之一的传统模型还快 66%。

                device并行：另外，微软开发的 DeepSpeed 库则选择了并行处理数据、各层及层组的路线，并通过在 CPU 和 GPU 间划分任务以减少处理冗余。

        c)能耗：训练庞大的网络会消耗大量电能

        d)模型交付：这些庞大的模型很难在消费级或边缘设备上运行，所以真正的规模部署只能通过互联网访问或精简版本实现——不过二者目前各有问题。

3.AI生成音频内容渐成“主流化”：但引发了一些道德与法律的增益

4.一种架构，驾驭一切：全世界都在transformer

        “在深度学习的发展过程中，有几个概念曾经迅速普及：ReLU 激活函数、Adam 优化器、attention 注意力机制，再加上现在的 transformer。过去一年的发展证明，这种架构确实具有旺盛的生命力。”

5.各国政府出台人工智能相关法律：AI对隐私、公平性、安全性以及国际竞争关系带来的潜在影响问题。

读后心得：

        Andrew对于AI在技术上、社会发展上都做出了总结与展望。

        就目前力所能及来说，可以思考的问题如下：

        1.多模态AI：近年来多模态AI的发展，CV和NLP在未来很可能不再是两个分支领域，多模态建模越来越普及，思考问题时便不再是将CV和NLP问题划分开来，而是从数据收集时便考虑对问题解答有帮助的多个模态的信息。也就是建模思想的改变。推之到应用上，多模态搜索、多模态推荐应该会从理论走向应用落地。

        一个问题：CV和NLP问题本质上建模的区别，一个是连续型，一个是离散型，那么多模态AI是如何去解决这个问题的呢？

        2.数据质量对模型质量的影响

       从做主动学习的浅浅经验来说，数据贵精不贵多。重点是：什么是“好”的数据。

       数据的冗余性也就意味着一味的数据多，并不能总是起到积极的作用。

       如何消除数据冗余性？

       如何衡量数据的质量？

       什么是模型最值得学习的数据？

       从主动学习选择数据的角度来看，不确定性是最为靠谱的一种衡量数据的方法，但并不是适用于所有场景的，多样性的方法尝试去覆盖、表示整个特征空间，可以解决一些场景下的问题，但是实验又表明与不确定性方法结合并没有表现出更好的性能。

        3.大规模、高质量数据集的有效编译方法尚未达成共识

        4.庞大模型难以交付的问题：“真正的规模部署只能通过互联网访问或精简版本实现”，知识蒸馏需要关注。

引用：

1.吴恩达：回顾2021，这些大事件影响了AI这一年 (qq.com) 

2.Sampling Bias in Deep Active Classification: An Empirical StudySampling Bias in Deep Active Classification: An Empirical Study - ACL Anthology