盟拓智能科技有限公司研发中心CTO张亮：《人工智能在Mini&Micro LED品质管控中的机遇与挑战》
我们公司是致力于做MiniLED的AOI检测和返修的公司，我大概分为六个模块，六个模块前四个是涉及到我们公司的一些技术积累还有我们怎么去解决Mini和Micro LED的检测工艺，第五点是我们公司的发展历程，最后一点就是我们公司的主打产品。
盟拓智能科技有限公司研发中心CTO张亮
首先谈一下工业机器识别专业算法检测能力的精，这个精是处于什么考虑？因为我们公司之前是一直做AOI，我们做AOI之前更多的涉及到SMT这个行业，但是我们把我们的能力和研发实力朝着Mini和半导体转型的时候发现还有很多的挑战，这其中一个就是大型的挑战。
右边可以看一下是SMT典型的两种元件，一种是01005，一种是0201的元件，可以看一下大小相对于半导体的元件是典型的MiniLED元件3×5的元件，相当于01005的八分之一，0201的十八分之一，可以知道尺寸变得多小了。
另外为了检测这样小的元件，我们相机成像的精度也要相应做出调整，以前我们在做SMT的时候，我们只需要做到10u的精度就可以了，如果做到MiniLED做到3u以下的精度对于我们光源和镜头的配合提出非常高的挑战，除了元件大小之外，元件的数量也是天壤之别的变化，右边可以看到SMT里面元件多的也就五千左右，但是半导体领域左边是一块Mini的PCB，上面的元件高达3万到12万颗。
我们要把这个图像采集下来一个FOA的大小值已经小到了几个毫米，这样小的时间里面快速的成像还要把它完整拼接起来，可想对你处理速度的要求是多么高的挑战。这些挑战怎么来解决呢？有三个方向。
第一个方向就是在我们的人工智能和机器识别算法里面，我们的算法本身要做到非常高的效率，如果以前算法是只能做到平方的效率，我们就要力争做到现行的效率。另外就是要对数据的并行处理做到SIMD，就是单指令多数据的方式，充分利用CPU和GPU的并行性。
第三个方面我们还得考虑我们的访存的效率，CPU内存的访问达到几百个GB几秒，这个远远不够，还要放到更快的访存里面，一级缓存甚至还要集成器里面，CPU和GPU都得这样做，我们对CPU和GPU架构非常清楚。以前我们对这一块板子的检测时间只能达到两分钟一块板子，经过我们的优化达到数秒钟完成板子的检测。
我们需要对板子元件进行缺陷的检测把缺陷点抓出来，另外一个就是在机器视觉算法里面的艰就体现难，对于缺陷图象是非常难以用语言描述的，比如说这块LED的膜下下面有很多的气泡，生产工艺中需要有这种工艺，但是气泡是不允许产生的，但是这个气泡在图像处理里面很难用一个简单的二次化或者简单的图像处理算法就可以定位到的，但是难在它的特征很难描述，我们采用深度学习的方式可以很轻松的抓出来，右边的蓝色框可以看到，框出来的就是气泡区域。
对于一些异物很难用语言描述是什么特征，归结是多少形状多长很难，用深度学习的技术可以很简单的处理这个问题，深度学习技术大家已经了解很多了，难在哪儿呢？其实不难在训练和标注只需要你花时间和经历，难的地方在于怎么推理，训练完模型怎么很难去推理快速去检测缺陷。这就是我们下了很多功夫去做的事。
另一个就是要对计算异物面积、数量、间距，这个图象是用到非监督学习的方式，我们不需要人标注哪个地方是样本哪个地方是缺陷，让数据自己说话，另外一个难的地方就是我们很多地方比如说正装工艺存在金线的问题，是一个金属线，打光不论从哪个地方打都很难形成统一的像素，有反射和折射很难用二次化或者传统简单的图像处理方向把这种定位出来，用深度学习的方式很容易把这个轮廓找到，首先要找到才能处理是不是有问题。
上面是我们原始的图像，可以看到金线怎么打只能呈现出最佳的状态，仍然可以看到金线整条线有暗的有亮的，怎么用统一的域值区隔出来还是用深度学习的方式。把整条金线完整的分割出来，这一张图只需要用到几十毫秒就可以处理出来，另外一个难点就是除了检测出来还要进行维修，MiniLED的元件找到过后怎么去利用机械物理的方式激除掉，好的元件补上去就需要很好的视觉机械功能。
左边和右边都是对元件进行剔除的结果，如果说稍微上下左右XY方向稍微有一点误差都不能完成这个功能。这个是倒装工艺的剔除，这个是正装工艺的剔除，剔除过后我们还要点胶，点胶的过程也需要在视觉引导的过程中进行点胶，焊盘直径已经小到了0.07毫秒，这样精细的范围里面我们要引导刮刀还有点胶喷水能够精确到所在的焊盘，需要把晶圆吸起来固定在需要修复的位置。
另外一个就是机器视觉的新，是新的业务和新的业态更新我们的软件，这个应用是我们有一些工位上比如说炉前AI的检测没有太多的工位安装，没有太多可能用机械运动的方式达到功能，只能用图象处理的方式，把不同相机呈现的图象精细拼接起来，不仅仅是拼接起来还能看到严丝合缝，即使肉眼也看不到融合的区域有什么区别。
另外就是飞行拍照，上面是一边走一边拍，光源也不会闪烁，为了达到MiniLED更快的拍摄速度让相机不要停止就是匀速运动，在这个过程中进行拍摄，达到这个状态，我们的飞行拍照可以达到每秒350毫米的形成速度，飞行速度是走停模式的三倍，这个也花了很多的功夫，相机光源运动方面精确的配合才能做到这一点。
另外还可以做到绝对剂量输出，对一个元件是否偏移到多少毫秒，我们会把像素转到毫秒，还会输出偏多少角度，一条线上的元件横向、纵向的贡献性也会计算出来做量化的标准。
今天的题目是人工智能在工业机器视觉里的机遇和挑战，我先说一下机遇，大家还是听得比较多一些，我们首先来看，对一些特征点非常难以描述的问题，我们可以用人工智能深度学习的方式去做，这个是毫无质疑的。
另一个就是对于MiniLED、MicroLED海量元件的应用非常适合用深度学习做的，因为元件量非常大不需要采集很多产品就可以得到足够多的样本，另外这些样本可以采用非监督学习的方式，不需要人工标注，大家说人工智能为什么没有落地，其实有一个很大的问题你需要很多的标注。
另外我们在编程上做到极简化，需要花两三个小时做编程的工作，如果用深度学习的方式我们可以自动的找到元件位置不需要人再去标识出来，另外一个就是我们可以采用监督学习及非监督学习的方式结合甚至会结合到强化学习，我们可以让机器实现不需要它收集大量的样本进行标注过后才能工作，我们让他可以做到自觉，刚开始就可以工作。
深度学习和人工智能应用过后我们看到大量的宣传和报道说阿尔法GO我们还是持怀疑态度，因为存在好几个方面的一些分析和挑战，首先就是客户对你要拿走数据进行训练这个是否是支持的，是否是同意你拿走那么多数据训练，因为很多客户包括我们遇到的客户都会提出这样的一律。数据采集之后要进行人工的标注，这个标注就是说我们要人工的指定什么地方是缺陷，什么地方是OK，什么地方是NG，NG又在哪个区域是长什么样子的得勾划出来，往往一个公司要花费很大的人力和物力，甚至有的公司临时招聘一些去做这些工作。这个是很难落地的。
人工智能算法的泛化性，如果一个产品一条线上训练好了，另外一条线上未必见得能用，因为光源和环境随时变化的，可能今天能用明天不能用了，怎么解决这些问题就是也很有挑战的。
首先说对数据的应用我们倾向于在客户现场进行训练而不是拿到我们公司进行训练，另外我们希望用更少的数据进行训练，比如说刚才的金线检测，我们用14张图像就可以形成模型，有哪些方案呢？第一个采用预训练网络加上少量的现场训练网络来做到这一点。另外一个就是通过对抗学习来生成缺陷数据，第三个方向是通过强化学习加上有一定知识的这种约束形成一个不断的去强化数据的过程，减少数据的依赖。
另外一个就是要用到非监督学习减少人工的标注，对泛化的问题，在我们的产品上是更多做到硬件的统一性这样解决泛化能力的问题。除了图象处理算法本身是解决问题的一把利剑，另外一把利剑就是我们的图象质量非常好，怎么才能做到图像质量非常好，首先看金字塔下面做到很多种的标地，包括光源系统的校准是规范统一的，另外对精度做到严格的校准，把图像拼起来还要做机器视觉和运动控制之间的校准，另外就是相机的畸变校准，还要做到分辨率的校准，我们实际的物理尺寸要做到量化，实际的物理尺寸和图像的象素做很精确的匹配。
另外一个因为我们也做3DAOI，数据重建也是很坚实的基础，在基础之上应用拼接的整图加上GPU和多点的数据和AI人工智能的应用可以做到现在的产品，对MiniLED进行检测和返修的系统。这就是标定的过程。
硬件上要保证稳定性，我们采用铸造件结构加上大理石平台，加上视觉和传感器能够做到Mu级的精度。下面介绍一下发展历程，我们公司经过十年的历练，成立2010年6月份，2009年研发出第一台离线的AOI检测设备，针对于SMT，2010年我们又成立光学部，我们可以自主开发光学系统，相机、光源，2011年实现了第一台在线的AOI，2012年开发完成了一套两头3DAOI模组，2013年完成了4头的3DAOI模组，2014年我们完成了机器视觉和机械手之间的标定的算法，完成了整套的VGR的系统，也是视觉和机器配合的基础。
2016年我们在成都成立的研发中心，现在有二十个人，我们在2017年实现了对于剂量的技术，除了我们定性的判断还能实现定量的判断，2018年尝试着去做MiniLED这个行业做AOI技术，在2019年成功地已经做出来了，并且切入到泛半导体领域，去年2020年我们已经实现了对点亮设备的制造。
这是成都的研发中心，主要职责就是底层人工智能算法和软件的开发，这是我们的办公楼通过底层技术，比如3D模组的成像和机器视觉软件加上光学系统和3DVGR视觉引导的基础，我们可以在这个平台上实现很多种应用。这是我们公司的资质，我们公司的名称是盟拓，其实是以两个字一个是盟团结的以意思，拓就是拓展的意思，英文加商标的型号形成英文单词就是良师益友的意思，我们希望为我们的客户保驾护航。
我们的吉祥物是牛，致力于做工业工业检测里面的孺子牛，迈头做事，下面就介绍两个产品，一个是Mini检测和返修的设备，我们在整条线上，大有三种设备，左边是检测设备，右边是电量检测，最后是返修设备，把设备导入到返修机，根据定位完成返修动作，这是在产线上面的部署，在印刷机前后都有我们的设备，炉前和炉后都有设备，生产过后我们会进行电量的测试。
后面有不良标识，这个系可选设备，对于有一些设备并不需要机械自动返修的情况下打下激光，把有缺陷的LED进行烧坏，人工的进行返修，如果需要返修机我们就加上返修机，除了我们的基础的工作，我们还要做到数量的可监控，我们会用我们的SPC进行平均的误差还有最大值和最大值记录和预警控制，如果发现前端的生产设备发生异常可以及时报警，报警条件也可以去设置。
这是每一片产品缺陷报告，呈现什么样的趋势可以提出预警的策略让他报警，还有一个比较烦琐的工作就是做上下游的衔接，我们除了要在核心的算法和核心的基础里面做好工作，也要完全到田里做赃活累活花了很多功夫，有的需求完全不一样，我们都去做，做得多了也就做熟悉了，其实也就归纳起来这么几类，这个是我们对于焊盘的检测，贴上元件过后倒装过后有很多种检测，正装工艺也可以对不同的工艺进行检测，还有对焊线质量进行检测。
这就是我们的一体化返修设备，目前最小3×5精度，返修效率4-15秒，根据不同的应用，单T可以做到4秒，除了T还得修的话现在可以做到11秒。这是我们的一些客户。以上就是我的演讲内容，谢谢大家！
本文属于原创文章，如若转载，请注明来源：新型显示产业高峰论坛 专用设备分论坛https://tv.zol.com.cn/769/7695748.html
