钢化玻璃破碎试验中的碎片计数



Article_1.jpg

标准 EN 12150-1 中标准化碎片测试中的碎片计数是定义钢化玻璃安全水平的方法,也是获得有关钢化玻璃应力和强度水平的指示的方法。

尽管标准中通过示例定义了计算片段数量的方法,但实际结果始终取决于审查员。为了使所有检查和检查员的计数保持一致,需要一个自动化的片段计数过程。这使它成为计算机视觉系统的完美应用,因为计算机永远不会厌倦或失去其客观性。自动片段计数系统已经存在,但它们有严重的局限性

近年来,现代工具和技术彻底改变了计算机视觉领域。这主要是由于卷积神经网络的进步,特别适用于从视觉图像中提取模式和信息。为了使碎片计数系统更灵活、更快和更便宜,计算机视觉的这些最新进展允许甚至在移动智能手机上实现自动化计算机视觉系统。

介绍

钢化玻璃是通过热处理工艺生产的,其中玻璃板首先被加热到超过其转变温度,然后迅速冷却,从而在整个厚度上产生温度梯度。目的是在玻璃具有温度梯度时冻结玻璃,然后当温度变得均匀后,残余状态是沿玻璃厚度的抛物线应力分布。钢化玻璃表面受压,玻璃芯受拉。

与退火浮法玻璃相比,钢化玻璃有两个优点。首先,玻璃的弯曲和冲击强度随着表面压缩应力的增加而增加,其次,由于高诱导应变能,玻璃破碎成无害的小颗粒。由于这些优点,钢化玻璃也被称为安全玻璃。

破坏性试验和因破裂而产生的碎裂是定义钢化玻璃应力和安全水平的方法。碎裂从应力中显示了一些东西,例如应力水平和应力的均匀性。在标准 EN 12150-1 [1] 中定义了冲压测试,其中 1100 x 360 mm² 尺寸的钢化玻璃在最长边缘的中点用尖头工具撞击。

从破碎模式中,50 x 50 mm² 区域内的颗粒数量从最小碎片计数区域开始计数。该标准定义了不同玻璃厚度的最低碎片水平,以保证建筑玻璃的安全。汽车玻璃具有类似的 ECE R43 [2] 安全碎裂标准。与 EN 12150-1 标准相比,在 ECE R43 标准中,玻璃在玻璃的中心区域受到冲击。

早在 1960 年代就已经研究了玻璃的碎裂及其与应力水平的关系,Akeyoshi 等人的著名结果就是一个例子。[3]。他们定义了 1.8 毫米和 8.2 毫米之间不同玻璃厚度的碎片数量与中平面拉伸应力水平之间的关系。

1968年,Barsom[4]也发表了钢化玻璃中心张力与平均颗粒重量的相关性结果。最近,Pourmoghaddam & Schneider [5] 和 Pourmoghaddam 等人发表了研究。[6] 定义了应力水平和碎片之间的关系,还根据应力水平和撞击点预测了碎片的形状和分布。

碎片计数本质上是一项视觉任务,人类操作员非常有效地利用他的大脑将单个碎片与碎玻璃分开。对于人类来说,这项任务似乎很容易,很容易忘记这项任务需要非常复杂和完善的模式识别能力,而这正是我们大脑开发的目的。计算片段数量的定义很简单,并在标准 EN 12150-1 [1] 中作为示例显示。

然而,虽然这项任务看起来很容易,但它非常费力和费时。计数过程也非常重复,并且容易因注意力不集中和疲劳而出现人为错误。因此,计数结果可能会因考官而异。尤其是当碎片数量较多时,碎片的尺寸较小,用人眼可能难以确定哪些是最小的碎片进行计数,哪些碎片在计数区域内。

在传统的自动化过程中,使用图像分析工具对碎片图案的照片进行处理和分析[7]。有基于图像分析的自动碎片计数设备,如 SoftSolution 的 CulletScanner 和 Deltamax 的 FROG:玻璃碎片识别器。

最近,机器学习彻底改变了计算机视觉领域,因为深度神经网络能够学习底层数据的非常抽象的表示。这提供了分析碎片模式的新工具。然而,深度神经网络需要大量标注良好的数据。这是为粒子计数制作良好模型的耗时部分。

在本文中,重点是利用机器学习领域的最新进展,提出一种计数钢化玻璃中碎片的新方法。此外,还介绍了数据注释对于深度学习的重要性。在机器学习章节之前,先介绍一下玻璃破碎的背景,以便更好地理解钢化玻璃中碎片数量的计数问题。

玻璃破碎理论

破碎后的玻璃碎裂主要取决于应力。在破碎过程中,裂纹的生长可分为两部分。首先,玻璃需要足够高的应力水平才能使裂纹自发生长。当所有裂纹都应扩展到边缘时,热强化玻璃已经需要该应力水平。其次,对于钢化玻璃来说,高碎片数需要裂缝的分叉。这种分叉现象需要更高的诱导应力水平。[8]

初始断裂点和外部支撑或力会影响玻璃的碎裂。这些东西会影响裂纹尖端的应力分布,因此,碎片模式会发生变化。[8,9] 因此,标准中定义了初始断裂点。在 EN 12150-1 标准 [1] 中,破碎后应计算碎片数量的时间设置为 3 到 5 分钟。考虑到这一点也很重要,因为在初始裂纹扩展之后,会形成二次裂纹。这些二次裂纹通常垂直于初始裂纹边缘,其数量也取决于初始应力状态。

薄玻璃和厚玻璃的碎裂是相似的。然而,对于较厚的玻璃,裂纹边缘比较薄的玻璃更粗糙。此外,对于厚玻璃,断裂边缘表面可以倾斜。4 毫米和 10 毫米标称厚度玻璃的典型断裂模式分别在图 9 和 10 中作为示例显示。较粗糙的裂纹边缘导致较宽的裂纹线,并且由于来自裂纹表面的光的高散射反射,倾斜的裂纹表面可以被视为白色区域。这些都会影响碎片的计数。

碎片计数的一种方法是定义玻璃的残余应力水平与碎片计数之间的关系。如果光学应力测量设备用于钢化玻璃的质量检查,这一点很重要。散射光偏光镜 (SCALP-05) [10] 测量的中平面拉伸应力与计数的碎片数量之间的关系如图 1 所示。测试是使用 1100 x 360 mm² 玻璃尺寸完成的。实验数据与 Akeyoshi 等人的数据进行了比较。[3]。与 Akeyoshi 等人的数据相比,作者的实验结果给出了更高的玻璃碎裂水平。[3]。

图 1. 中平面拉伸应力与 50 x 50 mm2 区域内碎片数量之间的关系。 4 毫米、6 毫米、8 毫米和 10 毫米标称玻璃厚度(点)的实验结果和 Akeyoshi 等人的比较数据。 [3] 适用于 1.8 毫米、3.0 毫米、3.4 毫米、4.9 毫米和 8.2 毫米玻璃厚度

图 1. 中平面拉伸应力与 50 x 50 mm2 区域内碎片数量之间的关系。4 毫米、6 毫米、8 毫米和 10
毫米标称玻璃厚度(点)的实验结果和 Akeyoshi 等人的比较数据。[3] 适用于 1.8 毫米、3.0 毫米、3.4 毫米、4.9
毫米和 8.2 毫米玻璃厚度。

使用机器视觉自动计数碎片

长期以来,卷积神经网络 (CNN) 一直主导着图像分类和对象识别领域。2012 年,深度卷积神经网络 (DCNN) 首次在 ImageNet 大规模视觉识别竞赛 (ILSVRC) [11] 中达到了最先进的性能。DCNN 带来的突破是不再需要复杂的、手工制作的输入空间特征。

在深度学习之前,典型的图像分类管道将由一个用手工制作的特征训练的分类器组成。这有一些问题,因为人类在定义最能区分输入类别的特征方面不一定非常有效。深度学习的优势在于特定任务的特征由网络自动提取,并且可以直接进行端到端的训练,从输入图像到输出类。

然而,玻璃碎片分割不仅仅是一个图像分类问题。相反,它是一个像素分类问题。将输入图像中的每个像素归类到某一类的过程称为语义分割。深度学习取得突破后,没过多久,新技术就可以从图像分类转移到语义分割。

问题在于分类网络的输出分辨率非常低,因为输出被简单地定义为类概率向量。然而,在语义分割中,输出分辨率应该与输入图像分辨率一样高。Long 等人的工作。[12]表明现有的分类网络可以转移到语义分割网络中。这是通过添加网络内上采样和像素损失将分类转换为全连接神经网络 (FCNN) 来完成的。

Long 等人的工作。仍然只是迈向高性能语义分割的第一步。从那时起,更复杂的网络不断推动最先进的性能。截至 2018 年,表现最好的语义分割网络是 Google [13] 的 DeepLab v3+,它也被用于这项工作中的玻璃碎片分割任务。

理论

这项工作中使用的片段计数管道背后的理论如图 2 所示。该管道由 Google 的 DeepLab v3+ 系统组成,用于执行分段和后处理算法以进行实际计数。

图 2. 片段计数管道

图 2. 片段计数管道。

图 2 中的 DCNN、ASPP 和 DECODER 块是 DeepLab v3+ 系统的一部分。编码器是标准的深度卷积神经网络,用作网络的特征提取部分。特别是,在这项工作中使用了残差网络架构 [14]。编码器的输出被定向到一个多孔空间金字塔池化 (ASPP) 模块,该模块对具有不同感受野(视野)的特征图进行采样以捕获多尺度上下文。

解码器用于恢复输入图像的空间分辨率。解码器本质上将来自 ASPP 模块的低分辨率、丰富的语义信息与来自编码器模块的高分辨率空间信息相结合。结果是原始原始输入图像的高分辨率分割掩码。

DeepLab 系统给出的分割掩码进一步进行后处理以获得片段计数。每个片段实例都有阈值,以便删除相邻分片之间的任何小连接。在此之后,可以通过对二进制分割掩码中的每个连接区域进行计数来简单地获得片段计数。

数据标注

现代深度学习神经网络在很大程度上依赖于它们在训练期间可以使用的数据量。他们通过多次迭代数据集来调整问题的内部表示。对于非常稀疏的数据,这可能导致模型过度拟合,该模型仅学习了一组非常具体的数据。这种模型通常无法泛化到问题的整个领域,使其无法在更广泛的应用中使用。

这个案子也不例外。然而,在玻璃碎片分割的情况下,数据集比从互联网收集的一般图像简单得多。在玻璃分割中,只呈现一类对象:片段本身。神经网络模型必须学习如何区分片段和非片段区域。一个广泛使用的、更复杂的数据集的例子是 ImageNet,它包含超过 1500 万张图像,属于大约 22000 个不同的类别 [15]。图片来自网络,由人工标注。现代神经网络即使在非常具有挑战性的数据集(如 ImageNet [16])上也表现出人类水平的性能。

由于需要人工,数据注释非常耗时且昂贵。数据量通常是模型性能的瓶颈,尤其是在应用于特定任务且无法利用免费数据集时。玻璃碎裂就是此类问题的一个例子。为了让模型学习如何分割片段,必须向其展示大量正确的或基本真实的分割示例。

标注流程

在图 3 中,显示了地面实况分割的示例。这些示例是人工制作的,每个示例需要大约 10-30 分钟的时间,具体取决于注释者的经验。注释过程非常简单:通过定义其顶点,每个片段都被标记为一个多边形。

从样本中可以看出,这个过程也是非常主观的。每个人的分割方式都有些不同。但是,注释应该在任何相邻多边形之间留下足够宽的间隙。这会强制模型可靠地分离相邻的分片,这对于获得分片数量等数量至关重要。在原始图像中,碎片边缘有时可能只有几个像素宽,实际上与背景无法区分。在这些情况下,标签多边形之间会留下更大的间隙。

图 3. 不同玻璃类别的原始图像样本和相应的地面实况注释

图 3. 不同玻璃类别的原始图像样本和相应的地面实况注释。

碎片计数主观性实验

片段计数的任务本质上是非常主观的。通常不清楚碎玻璃的哪些区域可以算作单个碎片,甚至标准也没有给出明确的说明。因此,即使碎片来自同一区域,进行碎片测试的实际人员也会对碎片计数产生显着影响。更重要的是,当要求个体选择最少碎片的区域时,引入了变异。在图 4 中,显示了 EN 12150-1 标准 [1] 定义的碎片测试的感兴趣区域。

图 4. 碎片分析中感兴趣的区域。 虚线内的所有区域都应包括在分析中

图 4. 碎片分析中感兴趣的区域。虚线内的所有区域都应包括在分析中。

实验研究了片段计数的主观性质。该实验的目的是研究几个人类检查员的片段计数变化。测试由厚度为 4 毫米和 10 毫米的两个测试样品组成。选择了两种玻璃厚度,因为薄玻璃和厚玻璃的碎裂模式非常不同。厚度对碎片的破损模式和视觉外观有显着影响。一般来说,从较薄的玻璃中计算碎片更容易。测试组织如下。两块 4 毫米和 10 毫米厚的标准尺寸 (1100 x 360 平方毫米) 钢化玻璃破碎。每个人对来自两个独立的 50 x 50 mm² 区域的碎片进行计数:一个来自玻璃中心,一个自由选择的区域(在图 4 的虚线内)碎片最少。

4 mm 和 10 mm 测试玻璃的碎片模式分别显示在图 5 和 6 中,两种玻璃的碎片计数结果都显示在表 1 中。此外,两种样品的碎片分布的热图也显示在图 5 和图 6 中6 和 7. 在每个热图的顶部,绘制了指定自由选择区域的矩形。

图 5. 4 毫米测试样品的碎裂模式

图 5. 4 毫米测试样品的碎裂模式。

图 6. 10 毫米测试样品的碎片模式

图 6. 10 毫米测试样品的碎片模式。

在热图中,蓝色表示碎片密度较低,而黄色表示密度较高。在这两种情况下,大多数审查员都选择了右上角的区域,这确实是图 4 中描述的允许感兴趣区域内碎片密度最低的区域。 然而,一些审查员最终选择了不同的区域,它引入了样品的最终片段计数的进一步变化。

表 1. 片段计数的实验测试结果

表 1. 片段计数实验测试的结果。

结果表明,即使每个人都对来自完全相同区域的碎片进行计数,人类检查员的碎片计数也存在显着差异。当考官自由选择碎玻璃最少的区域时,差异甚至更大。

对于 4 毫米玻璃,AI 模型的计数在平均人类计数的 1 个标准偏差内。对于 10 毫米玻璃,距离稍远。然而,这并不意味着 AI 模型是错误的,因为任务是高度主观的。测试样本中心区域的图像如图7和图8所示,AI分割的相应叠加图像如图9和图10所示。

图 7. 4 毫米样品的片段分布热图和显示实验中自由选择区域的红色矩形

图 7. 4 毫米样品的片段分布热图和显示实验中自由选择区域的红色矩形。

图 8. 10 毫米样品的碎片分布热图和显示实验中自由选择区域的红色矩形

图 8. 10 毫米样品的碎片分布热图和显示实验中自由选择区域的红色矩形。

4 mm 和 10 mm 样品的 AI 模型的相应碎片计数分别为 98 和 68。这些图像展示了碎片计数的难度:在图像中,有许多小碎片被 AI 系统计算为单个碎片,而人类可能不会。在 10 毫米样品的情况下尤其如此。在10毫米样本的分割图像中,可以看到AI系统在最终计数中包含了许多小片段,这没有错,但结果比普通人类检查者的数量要高。自动化系统的一个好处是它的决定是一致的,结果不会因疲劳、注意力不集中或其他影响人类检查员的条件而变化。

概括

实验研究了碎片计数的困难,并在本文中给出了结果。结果表明,片段计数并不是一项微不足道的任务,而且由于标准中没有明确的过程说明,因此不同审查员的计数结果可能会有很大差异。4 毫米和 10 毫米样品中心区域的碎片的相对标准偏差分别为 4.9% 和 6.4%。

此外,计数差异并不是影响最终片段计数的唯一因素。检查员还必须确定最低碎片密度的区域,这会引入更多的差异。对于 4 mm 和 10 mm 样品的自由选择区域,各自的相对标准偏差分别为 8.0% 和 9.9%。

本文还介绍了一种基于机器学习的片段计数方法。结果表明,现代深度学习和计算机视觉技术能够准确计算碎玻璃图像中的碎片。自动化方法具有客观和一致的结果的好处。然而,这种方法高度依赖于可用数据,获取起来既麻烦又昂贵。

参考

[1] EN 12150-1:2015, 2015, Glass in Building – Thermally Toughened Soda Lime Silicate Safety Glass – Part 1: Definition and Description, CEN.
[2] E/ECE, 2017, Agreement concerning the Adoption of Uniform Conditions of Approval and Reciprocal Recognition of Approval for Motor Vehicle Equipment and Parts. Addendum 42, Regulation No. 43, Revision 4: Uniform Provisions Concerning the Approval of Safety Glazing Materials and Their Installations on Vehicles, Annex 5, April 2017
[3] Akeyoshi, K., Kanai, E., Yamamoto, K., Shima, S., 1967, Rep. Res. Lab., Asahi Glass., 17, pp. 23.
[4] Barsom, J.M., 1968, Fracture of Tempered Glass, J. Am. Ceram. Soc. vol. 51, pp. 75-78. https://doi.org/10.1111/j.1151-2916.1968.tb11840.x
[5] Pourmoghaddam, N. & Schneider, J., 2018, Experimental investigation into the fragment size of tempered glass, Glass Struct Eng, vol.3, pp.167-181. https://doi.org/10.1007/s40940-018-0062-0
[6] Pourmoghaddam, N., Kraus, M.A., Schneider, J., Siebert, G., 2018, Relationship between strain energy and fracture pattern morphology of thermally tempered glass for the prediction of the 2D macroscale fragmentation of glass, Glass Struct Eng. https://doi.org/10.1007/s40940-018-00091-1
[7] Gordon, G.G., 1996, Automated glassfragmentation analysis, Proc. SPIE 2665, Machine Vision Applications in Industrial Inspection IV. https://doi.org/10.1117/12.232245
[8] Gardon, R., 1980, Thermal Tempering of Glass, in Glass Science and Technology vol. 5 Elasticity and Strength in Glasses, D.R. Uhlmann and N.J. Kreidl (Eds.), Academic Press, New York, pp. 145-216.
[9] Aronen, A., Kocer., C., 2015, The Mechanical Failure of Tempered Glass; a Comparison of Testing Standards and In-Service Catastrophic Failure, in Proceedings of GPD Glass performance days 2015, pp. 388-391.
[10] Anton, J., Aben, H., 2003, A Compact Scattered Light Polariscope for Residual Stress Measurement in Glass Plates, in Proceedings of Glass Proceedings Days 2003, pp. 86-88.
[11] Krizhevsky, A., Sutskever, I., Hinton, G.E., 2012, Imagenet Classification with Deep Convolutional Neural Networks, Advances in Neural Information Processing Systems, Curran Associates, Inc., pp. 1097-1105.
[12] Long, J., Shelhamer, E., Darrell, T., 2015, Fully convolutional networks for semantic segmentation, 2015 IEEE Conference on Computer Vision and Pattern Recognition (CVPR), IEEE, pp. 3431-3440.
[13] Chen, L., Zhu, Y., Papandreou, G., Schroff, F., Adam, H., 2018, Encoder-Secoder with Atrous Separable Convolution for Semantic Image Segmentation, CoRR, 2018, Available (accessed 09.05.2018). http://arxiv.org/abs/1802.02611.
[14] He, K., Zhang, X., Ren, S., Sun, J., 2016, Deep Residual Learning for Image Recognition, 2016 IEEE Conference on Computer Vision and Pattern Recognition (CVPR), IEEE, pp. 770-778.
[15] Russakovsky, 0., Deng, J., Su, H., Krause, J., Satheesh, S., Ma, S., Huang, Z., Karpathy, A., Khosla, A., Bernstein, M., 2015, Imagenet Large Scale Visual Recognition Challenge, International Journal of Computer Vision, Vol. 115, pp. 211-252.
[16] Russakovsky, O.,Deng, J., Su, H., Krause, J., Satheesh, S., Ma, S., Huang, Z., Karpathy, A., Khosla, A., Bernstein, M., ILSVRC 2017, ImageNet, web page. Available (accessed 09.05.2018). http://image-net.org/challenges/LSVRC/2017/results.

Tags: none