台湾是如何应用大数据分析提高半导体竞争力

台湾是如何应用大数据分析提高半导体竞争力

自引进IC封装开始，台湾半导体产业已发展40余年，近年来总产值已近20,000亿元新台币，在全世界占有一席之地。半导体产业竞争力来自於成本、良率及交货时间，其中良率更是一家公司有竞争力之所在。近年来自动化生产及物联网(技术发展，使得所有半导体制程相关的数据得以蒐集与保存，这些数据包含产品数据、机台数据、量测数据、缺陷机数据、晶圆接受度测试数据及晶圆测试数据，如何有效的使用这些大数据数据一直是半导体产业重要的课题之一。除了提升产品良率之外，产品/制造流程缺陷追踪、供应计画、提升能源效率…等都可以利用大数据分析提升公司竞争力。

处理这些数据主要可分成三个步骤：数据前处理、数据分析、验证与评估。在数据前处理时必须先修正数据错误，常见的数据错误有以下两种：

1.数据出现异常值。透过盒须图可轻易的分析出异常值，通常发生的在设备工程师在调整机台的时候或是由其他外在因素造成，因此这样的值通常直接删除。

2.数据出现遗漏值。因侦测设备的限制，有时数据会有不完整的情况，处理这样的状况可透过补值的方式(内插法、平均法等)回填可能的数据或直接删除该笔数据。

因每种数据的性质与内容不同，为有效使用这些数据，将数据库整合为必要的步骤。如何整合这些数据库首先需考量实际问题需求，再来考量数据库数据的型态，例如机台数据为连续型数据、缺陷机数据为离散型数据，因应不同的数据型态必须选择不同的方式去做合并。

在数据分析处理上，常见的方式可分成以下几种方式：

1.利用数据分群演算法，例如K-means演算法、阶层式分群演算法将原始数据分群。

2.将分群好的数据透过决策树找出造成问题发生的可能因子，或透过机器学习演算法，例如SVM建立模型，预测问题是否会发生，藉此实作出预警系统。

数据分析完之後必须评估结果是否符合现实以避免过适现象。在此步骤往往会发生分析结果和过往经验不一致的情况，除了花许多时间与工程师沟通确认之外，还需找不同的数据集交互验证，已确保数据分析方式是可行的。

在处理大量的数据时面临到许多的挑战，例如：传统的分析工具与方法通常适用在小规模的数据上，当数据量大且复杂时往往失去其效用、分析数据需耗费大量的计算时间，如何快速的处理大量数据是一项大的挑战。近年来已有一些工具可解决以上的问题，例如：MLlib即可支援一些机器学习的套件在Spark平台、RHadoop及SparkR套件可支援R的分析工具在Hadoop及Spark平台上。除了在分析数据时面临的挑战之外，TATA Consultancy Services(TCS)顾问公司在2013年从其他面向提出在处理大数据数据时面临的许多挑战，举例来说：数据工程师需取得部门经理的高度信任、对於不同的商业决策需决定该使用哪些数据、利用大数据分析帮忙部门经理做决策…等，以上的问题待管理相关的人员来解决。

对於半导体产业来说，透过大数据数据分析历史数据，挖掘其中有用的资讯以提升公司竞争力是非常有效的一种方式。科技部与台积电在2014年下半年即举办相关的比赛，希冀发掘半导体相关数据的各种有用资讯。相信往後会有越来越多人力与资源投入这领域，让半导体产业迈入新的世代。

以上是小编为大家分享的关于台湾是如何应用大数据分析提高半导体竞争力的相关内容，更多信息可以关注环球青藤分享更多干货

大数据，是大数据文件，还是大量的数据文件?要多大，KB，MB，GB，TB，PB，EB?还是说是大范围的数据，包括文本，图像，视频。。。

至少到2014年，大数据还没有一个准确的范畴定义。这是IEEE关于大数据的特别报告集里的说法。这里的问题就在于，一个大字，每天都在变：更多的设备被应用到日常生活，每天都有超越以往所有的比特在网络产生，流动，湮灭，同样，每天都有更多的超越以往的对这些比特流的使用，应用在发生，而这样的使用，应用，又进一步产生更大量的数据流。。。

那么。就是大数据是什么?

大数据是各种 IT 技术发展的汇聚点

光纤通信，DSL接入，Wifi，LTE，等等等等的通信连接转换设备，越来越多的带宽，越来越低廉的价格，使得网络大数据传输成为可能。

光学技术与半导体集成电路技术使得大规模的数据存储成为可能。

各种 sensor 技术使得数据的日常获取越来越便捷。

数据库技术的长时间发展与广泛应用提供了足够的，初始的结构化数据的来源，并提供了新数据处理方式的原始脉络。

人工智能技术，包括图像视频文本的理解分析，原始数据的结构化挖掘，自然语言处理，机器学习等等等，使得从已有数据中获得新的惊喜知识成为每天都在发生的事情。

摩尔定律使得数据处理的成本越来越低廉，但是效率却越来越高。

移动通信技术使得每个人每个时刻在每个地方都在为数据的越来越大做出贡献。

网络信息检索技术，使得数据/知识的应用与分布越来越扁平化。

基于上述各项技术的发展，越来越多的应用领域得到了新的推动助力。

---