Fin

Scientific Reports volumen 12, número de artículo: 12559 (2022) Citar este artículo

5496 Accesos

12 citas

14 altmétrica

Detalles de métricas

Presentamos un marco completo de aprendizaje profundo que utiliza un modelo de detección de objetos de un solo paso para detectar y clasificar de forma rápida y precisa los tipos de defectos de fabricación presentes en las placas de circuito impreso (PCB). Describimos la arquitectura del modelo completo y la comparamos con el estado actual del arte utilizando el mismo conjunto de datos de defectos de PCB. Estos métodos de referencia incluyen la red neuronal convolucional basada en regiones más rápida (FRCNN) con ResNet50, RetinaNet y You-Only-Look-Once (YOLO) para la detección e identificación de defectos. Los resultados muestran que nuestro método logra una precisión promedio promedio del 98,1% (mAP[IoU = 0,5]) en las muestras de prueba utilizando imágenes de baja resolución. Esto es un 3,2% mejor que lo último que usa imágenes de baja resolución (YOLO V5m) y un 1,4% mejor que lo último que usa imágenes de alta resolución (FRCNN-ResNet FPN). Si bien logra mejores precisiones, nuestro modelo también requiere aproximadamente 3 veces menos parámetros de modelo (7,02 M) en comparación con FRCNN-ResNet FPN (23,59 M) y YOLO V5m (20,08 M) de última generación. En la mayoría de los casos, el principal obstáculo en la cadena de fabricación de PCB es el control de calidad, las pruebas de confiabilidad y la reelaboración manual de PCB defectuosos. Según los resultados iniciales, creemos firmemente que la implementación de este modelo en una línea de fabricación de PCB podría aumentar significativamente el rendimiento y el rendimiento de la producción, al tiempo que reduciría drásticamente los costos de fabricación.

Las placas de circuito impreso (PCB) son la base que sustenta la mayoría de los productos electrónicos. Suelen estar fabricados en fibra de vidrio y epoxis compuestos con materiales laminados1. Cualquier defecto de fabricación a nivel de PCB puede provocar fallas fatales a nivel de producto. Por lo tanto, los PCB deben fabricarse con el más alto grado de precisión para garantizar un funcionamiento óptimo y la confiabilidad del producto. Con la creciente demanda mundial de productos electrónicos, es esencial detectar defectos de fabricación de manera eficiente y precisa. Como parte de la revolución de la Industria 4.0, se pueden implementar nuevas tecnologías basadas en datos y aprendizaje automático para mejorar la calidad de los productos y procesos2. El paradigma de fabricación sin defectos (ZDM) también tiene como objetivo mejorar la sostenibilidad de la fabricación aprovechando métodos basados ​​en datos para garantizar que ningún producto defectuoso pase por el proceso de producción3. El enfoque combina detección, reparación, predicción y prevención4. Mientras que los métodos tradicionales de mejora de la calidad (QI) se centran en la detección-reparación, las industrias manufactureras ahora migran hacia un paradigma de predicción-prevención que utiliza métodos basados ​​en datos para predecir defectos de fabricación5. La industria de PCB invierte masivamente para capacitar y mantener una gran fuerza laboral dedicada a la inspección de calidad utilizando herramientas de inspección tradicionales6. Este proceso suele provocar una latencia no deseada en el proceso de fabricación. Además, inspeccionar físicamente las piezas es caro y arduo. Por tanto, la mayoría de las empresas manufactureras dependen de la inspección de lotes. Sin embargo, la inspección de lotes no permite a los fabricantes cumplir con el principio ZDM de cero defectos al final del proceso de fabricación. Con la creciente importancia de la personalización del producto, hay un aumento en las tasas de defectos debido a tamaños de lote de producción más pequeños7. En la metrología virtual (VM), un subcampo de ZDM, los métodos basados ​​en datos ayudan a estimar y predecir la calidad de un producto8. Estos métodos aprovechan métricas de calidad de bajo costo para derivar métricas más complejas para lograr una mejora significativa en la eficiencia de costos8. Las técnicas emergentes de visión por computadora basadas en el aprendizaje automático han ayudado a los investigadores a aplicar la metrología virtual a la inspección de calidad9

Diferentes tipos de defectos en el patrón de cobre pueden afectar a los PCB. Pueden ser defectos fatales que dejen inmediatamente el dispositivo fuera de funcionamiento. También pueden ser defectos potenciales, que dificultan el rendimiento del dispositivo y reducen su vida útil10. Durante los procesos de grabado y enchapado, las anomalías pueden provocar un exceso de cobre o una falta de cobre. Además, un proceso incompleto puede provocar la deposición no deseada de materiales conductores y formar defectos como cortocircuitos o derivaciones. Por otro lado, un procesamiento excesivo puede provocar que falten agujeros, circuitos abiertos y picaduras de ratones. Las herramientas defectuosas también pueden producir agujeros faltantes. Una sincronización incorrecta puede provocar errores de registro mecánicos, contaminación por suciedad o burbujas de aire debido a la electrólisis presente en las placas PCB desnudas. La literatura ofrece un resumen extenso de los defectos de fabricación de PCB más comunes y sus orígenes11.

Las técnicas de detección de defectos de PCB se pueden dividir en términos generales en métodos de contacto y sin contacto11. Los métodos de contacto suelen basarse en sondas voladoras para detectar defectos que provocan cortes eléctricos y circuitos abiertos. Su implementación y mantenimiento pueden ser costosos. También tienen ciertas limitaciones que pueden permitir el paso de productos defectuosos10. Los métodos de contacto eléctrico a menudo pasan por alto defectos como cobre espurio o fresas, que pueden causar una degradación más lenta y fallas de la placa10.

Los métodos de inspección sin contacto utilizan varias técnicas, como imágenes de rayos X, litografía de haz escaneado, imágenes ultrasónicas, imágenes térmicas e inspección óptica automática (AOI)10. A medida que los circuitos se vuelven más densos y complejos, la detección de defectos de fabricación también se vuelve cada vez más desafiante y costosa. Esto impide que el proceso de fabricación cumpla con los estándares ZDM4.

En este trabajo, buscamos mejorar los sistemas AOI para la detección de defectos en PCB de placa desnuda utilizando técnicas emergentes de aprendizaje profundo. Los sistemas AOI pueden detectar defectos en placas desnudas, componentes faltantes, defectos de soldadura y relleno. También pueden detectar defectos potenciales como fresas, cobre espurio y mordeduras de ratón, que pueden pasar desapercibidos con los métodos de contacto. Además, los sistemas AOI evitan daños mecánicos y pueden escalar fácilmente con el aumento de la capacidad de producción.

Este artículo presenta un marco completo para mejorar la identificación de defectos de PCB utilizando herramientas AOI. Las principales contribuciones de este trabajo son las siguientes:

Proponer un modelo de detección de objetos mejorado para la detección de defectos de PCB.

Comparando su desempeño con varios modelos de detección de objetos de última generación.

Aumentar la precisión general (mAP[IoU = 0,5]) en un 3,2 %, alcanzando una mejora de hasta un 5,6 % para la clase de defecto de espolón.

Todo esto utilizando solo 7 millones (7M) (35%) de los más de 20M de parámetros utilizados por los métodos de última generación actuales (YOLO V5m para imágenes de baja resolución y FRCNN-ResNet FPN para imágenes de alta resolución). imágenes).

Con el tiempo, creemos firmemente que este monitoreo asistido por aprendizaje automático en tiempo real ayudará a identificar y localizar rápidamente los defectos de fabricación, señalar con precisión su origen y proporcionar ajustes oportunos a los procesos de fabricación.

El artículo está organizado de la siguiente manera: en "Trabajo relacionado", examinamos la literatura con especial atención a la implementación del aprendizaje profundo para la detección de defectos. En "Descripción general de los modelos de detección de objeciones", se explican los modelos de aprendizaje profundo relevantes. Esta sección también presenta al lector nuestra arquitectura modelo propuesta y en qué se diferencia del estado del arte. En "Experimentación", describimos el conjunto de datos y la metodología de prueba. En “Resultados” presentamos los resultados experimentales y los estudios de ablación. La sección "Discusión" compara los resultados utilizando nuestro modelo y lo último en tecnología, mientras que la "Conclusión" resume los hallazgos clave e introduce direcciones de investigación futuras.

Aquí presentamos una breve pero representativa descripción general del campo. La fabricación sin defectos es una parte clave de la Industria 4.0. El concepto de cero defectos se introdujo en 1965 como un programa de calidad y confiabilidad implementado por el ejército de los EE. UU.12. Los investigadores han explorado diferentes técnicas para hacer que los procesos de fabricación cumplan con ZDM. En este trabajo, nos centramos principalmente en la aplicación del aprendizaje profundo para la detección de defectos. Hace dos años, los investigadores implementaron un clasificador de fallas basado en Extended Deep Belief Network (EDBN) para procesos químicos utilizando una combinación de datos sin procesar y características ocultas13. Sin embargo, dicha arquitectura es compleja y requiere más tiempo para procesar los datos. Otros propusieron un codificador automático basado en la calidad apilado (SQAE), que captura características relevantes para la calidad y descuida las irrelevantes para aplicaciones de detección suave14. Las redes neuronales convolucionales de transferencia (CNN) combinan CNN en línea y redes CNN poco profundas fuera de línea más pequeñas15. Este enfoque muestra que el entrenamiento previo de las redes superficiales y la transferencia del conocimiento a la red en línea puede mejorar significativamente la precisión de los modelos15. Sin embargo, estos métodos de aprendizaje por transferencia tienden a introducir sesgos no deseados en los modelos, lo que impide generalizar entre diferentes muestras16. Una suposición central con los métodos basados ​​en el aprendizaje profundo es que los datos de prueba y los datos de entrenamiento se toman de la misma distribución17. Concretamente, esto supone que no habrá cambios en las condiciones ambientales. Como tal, una red de transferencia profunda puede lograr una mejor adaptación del dominio18. De hecho, este tipo de redes basadas en CNN se utilizaban anteriormente para la detección de grietas en superficies19.

En 2018, Vafeidas et al. realizaron un análisis comparativo del rendimiento de los algoritmos clásicos de aprendizaje automático para detectar la ubicación defectuosa de componentes en placas PCB20. Se utilizó una combinación de algoritmos de visión por computadora para extraer las características. En ese momento, las máquinas de vectores de soporte lograron la mayor precisión de clasificación20. En 2020, se utilizó una arquitectura basada en redes neuronales convolucionales 3D (3DCNN) para simular los cambios de forma y volumen de gotas de pegamento depositadas sobre sustratos de polímero de cristal líquido antes de la unión de circuitos integrados21.

La metrología virtual aprovecha la información disponible procedente de sensores o entradas visuales para evaluar parámetros que son difíciles o costosos de medir8,9. Basados ​​en el mismo paradigma, los codificadores automáticos se entrenaron en chips semiconductores libres de defectos y luego se utilizaron para la detección de anomalías22. También se utilizó un enfoque similar para el monitoreo de fallas de obleas23. Los autores demostraron que el modelo es capaz de extraer características tolerantes al ruido. Sin embargo, este proceso también detecta cualquier muestra anómala como muestra defectuosa.

En los últimos años, los investigadores utilizaron múltiples métodos para agilizar y automatizar la detección de defectos en PCB desnudos. Los algoritmos basados ​​en wavelets se implementaron por primera vez para la detección de defectos24. La principal limitación de estos métodos es su escasa generalización25. Se han implementado algoritmos clásicos de aprendizaje automático, como máquinas de vectores de soporte y árboles de decisión, para clasificar los tipos de defectos26,27. Estos métodos requieren una ingeniería de características exhaustiva para procesar los datos sin procesar e identificar características significativas para el modelo. A su vez, esto conduce a un sesgo involuntario en los resultados inducido por expertos16. Este enfoque requiere pasos de preprocesamiento adicionales, lo que aumenta el tiempo de procesamiento y reduce la escalabilidad. Nuestro modelo de aprendizaje profundo propuesto busca extraer las características directamente de las imágenes mismas. De hecho, varios investigadores han utilizado una combinación de métodos de visión por computadora y aprendizaje profundo para detectar y clasificar defectos28,29,30,31. Esto también crea canales de preprocesamiento, lo que genera retrasos y problemas de escalabilidad. El año pasado, los modelos DETR eliminaron la necesidad de muchos componentes diseñados a mano para la detección de defectos de PCB32. Además, el uso del aprendizaje por transferencia es una técnica popular para aplicar modelos complejos de aprendizaje profundo a pequeños conjuntos de datos. Recientemente, algunos grupos han implementado el aprendizaje por transferencia para la detección de defectos33,34,35. Sin embargo, estos modelos tienden a incorporar sesgos provenientes del pre-entrenamiento16. Este año, se implementaron por primera vez redes generativas adversas (GAN) para mejorar la calidad de los datos, lo que a su vez mejora la precisión de los modelos36.

Los modelos de detección de objetos pueden realizar simultáneamente múltiples tareas en una sola imagen, incluyendo: (i) Detección de múltiples objetos, (ii) Clasificación de los defectos y (iii) Localización37. Esto los convierte en los modelos de aprendizaje profundo ideales para su aplicación en el diagnóstico de fallas. Actualmente, varios equipos de investigación están explorando modelos de detección de objetos para detectar objetos pequeños38,39. Los modelos de detección de objetos de dos etapas, como FRCNN, combinan dos redes y, por lo tanto, tienen una gran cantidad de parámetros y requieren mayores retrasos en el procesamiento de imágenes. Esto hace que sea muy difícil aplicarlos en una línea de fabricación de alta velocidad. Los detectores de objetos de una sola etapa son más rápidos y, por lo tanto, candidatos más adecuados para una implementación casi en tiempo real. Tan solo el año pasado, los investigadores comenzaron a utilizar modelos de detección de objetos de una etapa para la localización y clasificación de defectos40,41. Además, la inspección óptica requiere imágenes y equipos de alta resolución42. Esto dificulta que las producciones a pequeña escala adopten dichas tecnologías. Hasta donde sabemos, este es el primer estudio extenso para examinar y mejorar el rendimiento de dichos modelos en imágenes de baja resolución.

Esta sección ofrece una breve descripción de los distintos modelos utilizados en el artículo. La literatura ofrece una descripción general completa de los diversos métodos de aprendizaje profundo utilizados para la detección de objetos37. En este trabajo, nos centraremos en los modelos You-Only-Look-Once (YOLO), RetinaNet y Faster R-CNN de última generación para comparar.

You-Only-Look-Once (YOLO) 43 es un modelo de detección de objetos de una sola etapa. Contiene tres componentes principales: la columna vertebral, el cuello y la cabeza. La columna vertebral es una red neuronal convolucional que toma imágenes de diferentes tamaños como entrada y forma las características generales de las imágenes. El cuello representa una serie de capas de red que pueden fusionar características para enriquecer la información. Las características procesadas se envían a la capa de predicción, donde el clasificador obtiene la clase de los objetos y genera las coordenadas finales del cuadro delimitador.

La red divide la imagen en regiones de cuadrícula y predice cuadros delimitadores rectangulares en cada región. El modelo base para YOLO es similar a GoogLeNet44 con el módulo inicial reemplazado por capas convolucionales de 1 × 1 y 3 × 3. La predicción final se produce mediante dos capas completamente conectadas en todo el mapa de características convolucionales. El diagrama de bloques de la Fig. 1 captura la estructura de red de YOLO.

Estructura de la red YOLO.

La función de pérdida de la red consta de dos partes: la pérdida de localización para la predicción de los desplazamientos del cuadro delimitador y la pérdida de clasificación para las probabilidades de clase condicionales. Las pérdidas se calculan como la suma de los errores al cuadrado. La mayoría de los cuadros delimitadores no tienen ninguna instancia del objeto, por lo que es importante reducir la pérdida de los cuadros de fondo. Se utilizan dos parámetros de peso para equilibrar las coordenadas del cuadro delimitador y la predicción de la puntuación de confianza para cuadros sin objetos.

YOLO v545 está construido sobre una estructura similar a la de YOLO. Como tal, ejecuta la detección directamente en sitios de ubicaciones densas. La columna vertebral primero extrae las características dominantes de las imágenes de entrada. En YOLO v5, la red Cross Stage Partial (CSP) se utiliza como red troncal. Luego, el cuello se utiliza para generar filtros piramidales de funciones. Ayudan al modelo a reconocer el mismo objeto en diferentes escalas y tamaños. YOLO v5 usa PANet como cuello46. Finalmente, el cabezal realiza la parte de detección. Aplica cuadros de anclaje en las características extraídas y produce vectores de salida con probabilidades de clase, puntuaciones de objetos y cuadros delimitadores. YOLO v5 usa Leaky-ReLU para las capas ocultas y activación sigmoidea para la capa de salida. Para modelos grandes, se prefiere el optimizador de gradiente estocástico (SGD) con una pérdida de entropía cruzada binaria (BCE)47. A principios de este año, los investigadores aplicaron métodos de detección de objetos basados ​​en YOLO para el diagnóstico de fallas48,49.

Las R-CNN (FRCNN) más rápidas combinan dos redes50. Primero, una Red de Propuestas Regionales (RPN) genera propuestas regionales. A su vez, una red de detectores se basa en estas propuestas para la detección de objetos. Faster R-CNN es una mejora significativa con respecto a su predecesor, el modelo Fast R-CNN51, ya que utiliza RPN en lugar de un método de búsqueda selectiva para generar las propuestas de región. El RPN clasifica los anclajes del cuadro de región y propone los que tienen más probabilidades de contener los objetos. Estos anclajes juegan un papel vital en los modelos Faster R-CNN. Los FRCNN típicos utilizan nueve anclajes en cada posición de una imagen. El RPN genera un conjunto de propuestas para que un clasificador y un regresor las examinen más a fondo para verificar las apariciones de objetos. Por lo tanto, el RPN predice la probabilidad de que un ancla sea un objeto significativo o sea parte del fondo y luego refina el ancla. Luego etiqueta como primer plano los anclajes con mayor superposición con los cuadros de verdad sobre el terreno. Por el contrario, los anclajes con superposiciones bajas se etiquetan como fondo. El regresor calcula la pérdida L1 utilizando la posición del cuadro delimitador y los anclajes positivos. La configuración predeterminada utiliza la posición central, la altura y el ancho como entrada. Sin embargo, observamos que usar las coordenadas superior izquierda e inferior derecha da un resultado marginalmente mejor. Después del RPN, el modelo propone regiones con diferentes tamaños. Luego, una capa de agrupación de regiones de interés (ROI) divide el mapa de características de entrada en un número fijo de regiones del mismo tamaño y luego aplica una agrupación máxima en cada región para garantizar los mismos tamaños de región independientemente de la entrada. Hemos utilizado ResNet 50 con redes piramidales de funciones como fondo. El optimizador SGD con una tasa de aprendizaje decreciente ofrece los mejores resultados.

RetinaNet52 es una red compuesta que utiliza una subred troncal, de clasificación y regresión. La red troncal típica utiliza una ResNet con Feature Pyramid Network (FPN)53, utilizando dos vías interconectadas lateralmente. La ruta ascendente utiliza la salida del mapa de características final de un conjunto de capas convolucionales consecutivas. La ruta de arriba hacia abajo utiliza el muestreo ascendente del vecino más cercano para expandir el último mapa de características al mismo tamaño que la penúltima capa anterior. Estas capas se fusionan mediante suma de elementos. Luego se itera hasta que los mapas de características de la ruta ascendente encuentran un mapa de características correspondiente a través de las conexiones laterales. Este proceso hace que el modelo sea invariante en escala. La subred de clasificación utiliza una red convolucional (CNN) adjunta a cada FPN. Normalmente utiliza cuatro capas de convolución de 3 × 3 con 256 filtros, seguidas de una activación ReLU. Luego, a otra capa de convolución de 3 × 3 le sigue la activación sigmoidea. La pérdida de clasificación utilizada es una variante de la pérdida focal52. La subred de regresión está adjunta a los mapas de características de FPN en paralelo a la subred de clasificación, similar a una arquitectura de red de clasificación. RetinaNet normalmente selecciona los 1k cuadros de anclaje con el puntaje de confianza más alto de cada nivel de FPN. Para evitar la redundancia, se puede aplicar supresión no máxima (NMS) de forma independiente a cada clase, luego elegir el cuadro de anclaje con la puntuación de confianza más alta y eliminar los cuadros de anclaje superpuestos utilizando Intersección sobre Unión (IoU) superior a 0,554. Finalmente, el regresor realiza una predicción de desplazamiento para refinar la selección del ancla y devolver una predicción del cuadro delimitador.

El modelo propuesto es una variación de YOLO v5. Nuestra red propuesta es una combinación de CNN y Transformers. La Figura 2 muestra la estructura del modelo, que incluye los tres bloques principales: la columna vertebral, el cuello y la cabeza. El módulo transformador se incluye en la unión del cuello y la columna vertebral. Proporciona funciones de varios niveles con información global para la detección. Esto mejora el campo de recepción de la red convolucional. La red CNN extrae las características geométricas subyacentes de las imágenes. Estos mapas de características suelen constituir los puntos clave, líneas y algunos patrones geométricos básicos55. Tanto la dependencia global como el modelado de localidad son importantes para una mejor representación de la imagen56. A diferencia de las redes de transformadores estándar utilizadas para secuencias de datos, nuestro modelo procesa directamente mapas de características generados por la red convolucional. Como tal, nuestro modelo puede beneficiarse de los méritos tanto de CNN como de los transformadores para modelar dependencias largas y aprender la escala combinada con representaciones de localidad invariantes de cambio48,57.

Presentamos una comparación entre los diferentes modelos analizados en este artículo en la sección de información complementaria.

Estructura del modelo propuesto. La estructura combina los méritos de las redes transformadoras y convolucionales. Como tal, puede explotar dependencias globales e información de localidad.

El aumento de datos es un conjunto de técnicas que se pueden utilizar para generar muestras de entrenamiento adicionales modificando ligeramente los datos de entrenamiento existentes o creando datos sintéticos. Previene el sobreajuste y ayuda a generalizar el modelo58. Shorten proporciona un estudio completo de las diferentes técnicas de aumento de datos utilizadas para la visión por computadora59. El modelo YOLOv5 utiliza una combinación de Mosaic, Mixup, HSV y métodos clásicos para el aumento de datos. Los métodos clásicos implican principalmente rotación, cambio de escala, volteo vertical y horizontal, traducción, adición de ruido, recorte y zoom.

La técnica de aumento de datos en mosaico combina cuatro imágenes de entrenamiento en una sola imagen. Esta técnica se introdujo en YOLOv460. Esto permite que el modelo aprenda a identificar objetos a diferentes escalas. La técnica CutMix combina imágenes cortando partes y pegándolas en las imágenes aumentadas. Esto mejora la robustez del modelo al cambiar una parte de la imagen de entrada61. De manera similar, Image Occlusion reemplaza regiones de las imágenes con valores aleatorios. Esto se comporta como una técnica de regularización. Otro método común es aumentar los componentes de Saturación (S) y Valor (V) del espacio de color HSV.

Hemos utilizado una unidad de procesamiento de gráficos (GPU) Tesla T4 para ejecutar nuestros experimentos. El marco se implementó utilizando la biblioteca PyTorch versión62 y la implementación ultralítica YOLOv545.

La arquitectura general involucra una cámara AOI, un dispositivo de captura de imágenes para almacenar las imágenes y una unidad de procesamiento con nuestro modelo propuesto para detectar, clasificar y localizar con precisión múltiples defectos en la placa PCB desnuda en tiempo real. La Figura 3 presenta un esquema de alto nivel de la arquitectura general.

Arquitectura general del modelo.

Para este proyecto, utilizamos el conjunto de datos público HRIPCB para entrenar, probar y validar el modelo de detección de objetos29. El conjunto de datos contiene 1386 imágenes etiquetadas con seis familias diferentes de defectos de fabricación (agujero faltante, mordedura de ratón, circuito abierto, cortocircuito, estímulo, cobre espurio). Se basa en 10 imágenes diferentes de placas PCB aumentadas utilizando seis tipos diferentes de defectos29. El conjunto de datos proporciona archivos "XML" con etiquetas de defectos y tipos. Debido a los requisitos del modelo experimental, los archivos se convierten a "TXT". La Figura 4 muestra los diferentes tipos de defectos en el conjunto de datos.

Contornos de defectos extraídos (EDC) anotados29.

En la tarea de detección de objetos, el modelo generará las posibles posiciones de los defectos en términos de cuadros de predicción. Para determinar si el cuadro de predicción y la verdad fundamental son iguales, en la literatura se utiliza la métrica Intersección sobre Unión (IoU). La definición de IoU se da en la ecuación. (1):

La mayoría de los investigadores establecen el umbral de IoU en 0,5. Esto significa que cuando la relación de superposición alcanza 0,5, el cuadro de predicción es correcto. Además, la precisión y la recuperación promedio se utilizan para evaluar los resultados de la clasificación de imágenes. La precisión se define en la ecuación 2 y la recuperación se define en la ecuación 3.

El valor de Precisión indica el valor predictivo positivo del modelo (o la capacidad de evitar falsos positivos). Mientras tanto, el valor de recuperación indica la tasa o sensibilidad de verdaderos positivos del modelo (o la capacidad de evitar falsos negativos). Equilibrar la precisión y la recuperación en el contexto de una aplicación específica es uno de los principales desafíos que enfrenta cualquier desarrollador de aprendizaje automático.

Primero dividimos el conjunto de datos en tres conjuntos de entrenamiento (70%), validación (20%) y prueba (10%). Utilizamos reducción de resolución bicúbica63 para generar imágenes de baja resolución. Las imágenes de alta resolución también se generaron utilizando el mismo método. El muestreo bicúbico no requiere ningún parámetro adicional que se pueda aprender. Por tanto, no aumenta la complejidad del sistema. Para la mayoría de los experimentos se utilizó el optimizador de descenso de gradiente estocástico (SGD). Se realizaron experimentos adicionales utilizando los optimizadores Adam y AdamW. Sin embargo, descubrimos que SGD produjo consistentemente los mejores resultados. El mismo comportamiento ha sido reportado previamente en la literatura47. Los hiperparámetros se ajustaron para cada modelo y la lista detallada de hiperparámetros asociados con cada modelo se proporciona en la información complementaria. Para ajustar los hiperparámetros de nuestro modelo propuesto, hemos utilizado un enfoque basado en algoritmos genéticos64.

El algoritmo YOLO v5 utiliza una combinación de diferentes métodos para el aumento de datos. Nuestro modelo propuesto utiliza una combinación de aumento, traducción, rotación, confusión y mosaico de HSV de imágenes. La descripción detallada de cada método de aumento se proporciona en la sección "Aumento de datos". El modelo Faster R-CNN se entrena utilizando una red troncal ResNet50 y MobileNetv265 para extraer las funciones. El modelo RetinaNet se entrena utilizando un extractor de funciones ResNet50. Experimentamos con modelos troncales ResNet50 y GhostNet para YOLOv5. Sin embargo, descubrimos que la red troncal Cross Stage Partial Networks (CSP) ofrece resultados óptimos. Para Neck, realizamos experimentos con modelos BIFPN, FPN y PANet. Los resultados de los experimentos se presentan en la sección "Resultados".

La mejora clave en nuestro modelo es la adición del modelo de transformador. La estructura de la red se describe en la sección “Estructura de red propuesta”. También realizamos experimentos adicionales utilizando diferentes funciones de activación. Descubrimos que la función de activación Swish funciona mejor que Mish, ReLU y Leaky-ReLU. La Figura 5 muestra las curvas de entrenamiento y validación de nuestro modelo. Demuestra que nuestro modelo es capaz de converger en 100 épocas para imágenes de baja resolución.

El rendimiento de la detección de objetos se evalúa con la precisión promedio (mAP) media entre la verdad del terreno y el cuadro delimitador previsto (IoU). Para validar el rendimiento de nuestra red propuesta, en este estudio se realizan múltiples experimentos. Para comparar el rendimiento de diferentes modelos de detección de objetos con nuestro modelo propuesto, codificamos los modelos según las referencias respectivas y luego ejecutamos los experimentos en el conjunto de datos HRIPCB.

La Figura 5 muestra que el rendimiento del modelo es el mismo durante el entrenamiento y la validación, lo que sugiere que el modelo no se ajusta demasiado a los datos. Observamos que la pérdida de caja y la pérdida de clasificación disminuyen drásticamente durante las primeras 50 épocas antes de la saturación. Además, observamos que el modelo tiene una alta precisión y un alto recuerdo, lo que sugiere que el modelo tiene pocos falsos negativos.

Las curvas de entrenamiento y validación de nuestro modelo utilizan imágenes de baja resolución. Los gráficos (a – c) muestran la pérdida de cajas, la pérdida de objetos y la pérdida de clasificación para la muestra de entrenamiento. Las figuras (f – h) capturan las mismas métricas para el conjunto de datos de validación. Las figuras (d) y (e) muestran la precisión y recuperación del modelo. Las figuras (i) y (j) capturan el mAP en IoU = 0,5 y IoU = 0,5:0,95 respectivamente. Para cada figura, el eje x representa el número de épocas.

Los resultados de los experimentos informados en la Tabla 1 son el promedio de múltiples experimentos. Realizamos dos conjuntos de experimentos para comparar el rendimiento del modelo: uno usando imágenes de alta resolución y el otro usando imágenes de baja resolución. Utilizamos muestreo bicúbico63 para generar imágenes de baja resolución. Los resultados de la Tabla 1 muestran que nuestro método puede lograr una precisión promedio general (mAP [IoU = 0,5]) del 98,1 % en imágenes de baja resolución. Observamos que el modelo FRCNN de detección de objetos de dos etapas con columna vertebral de ResNet puede lograr un alto rendimiento. Sin embargo, el modelo tiene una gran cantidad de parámetros y es significativamente más lento que los detectores de objetos de una sola etapa38. Entre los modelos de una sola etapa, observamos que los modelos YOLOv5 superan a RetinaNet y YOLOv3. Como era de esperar, observamos que el modelo YOLOv5m mediano funciona mejor que el modelo YOLOv5s más pequeño. También observamos que nuestro modelo supera al modelo medio YOLOv5m de última generación en un 3,2% en el mAP general [IoU = 0,5]. El mAP para IoU = 0,5:0,95 también es mayor para nuestro modelo en comparación con todos los demás modelos. Esto significa que el modelo es capaz de detectar con precisión defectos para diferentes umbrales de IoU, de 0,5 a 0,95 con un paso de 0,05.

Para que sea útil, un sistema de detección debe poder generalizar y detectar con precisión todo tipo de defectos. De hecho, observamos que otros modelos basados ​​en YOLO no son adecuados para la detección de defectos de circuito abierto, mordida de ratón y estímulo. El modelo YOLOv5s más pequeño logra solo un 88,5% de mAP para estímulo y un 97,4% para circuito abierto. El modelo mediano YOLO v5m de última generación logra solo un 91,3 % de mAP para la detección de defectos en derivación y un 91,6 % de mAP para circuito abierto. Nuestro modelo supera al modelo YOLO v5m para lograr un mAP del 96,9 % en defectos de derivación y del 99,5 % en defectos de circuito abierto. Si bien logra rendimientos significativamente mejores, nuestro modelo utiliza aproximadamente 3 veces menos parámetros (7,02 millones) en comparación con FRCNN-ResNet FPN (23,59 millones) y YOLO V5m (20,08 millones) de última generación.

La Tabla 2 presenta una descripción comparativa de los resultados obtenidos utilizando los modelos de última generación basados ​​en YOLO 5 y nuestro modelo.

En el ejemplo que se muestra en la Fig. 6, observamos que la placa PCB desnuda tiene 2 defectos de derivación. YOLOv3 no logra identificar la presencia de ambos defectos del espolón, mientras que el modelo YOLOv5s predice un falso positivo adicional. Nuestro modelo propuesto es capaz de identificar correctamente ambos espolones.

Detectamos los defectos en la placa PCB desnuda utilizando tres modelos diferentes. La PCB estudiada tiene 2 defectos en espuela. Observamos que YOLOv3 no logra identificar la presencia de ambos defectos del espolón, mientras que YOLOv5s predice un defecto incorrecto adicional. Nuestro modelo propuesto es capaz de identificar los dos espolones correctos.

Ahora, en la siguiente sección se presentará un estudio de ablación completo de los diferentes componentes del modelo.

El modelo YOLOv5 utiliza una combinación de métodos de aumento para mejorar su generalización. Estos métodos se analizan en la sección "Aumento de datos". Observamos que eliminar el método del mosaico no afecta la precisión general. Sin embargo, reduce ligeramente la precisión de las espuelas y los defectos espurios del cobre. Si eliminamos el aumento de HSV, observamos una disminución significativa (7%) en la precisión de detección de defectos de espolón. Además, eliminar el aumento de escala sólo tiene un efecto marginal en la precisión general. Sin embargo, eliminar todo el aumento de datos reduce drásticamente el mAP general al 84,7 % y la precisión promedio para detectar defectos en los espolones al 73,6 %. Por tanto, vemos que el aumento de datos tiene un impacto significativo en el rendimiento del modelo.

Eliminamos el módulo Path Aggregation y utilizamos un modelo BiFPN para comparar. Observamos que el modelo BiFPN arroja resultados similares. La precisión general aumenta un 0,2% y observamos un aumento del 1,4% para los defectos de las espuelas. Por lo tanto, observamos que BiFPN mejora marginalmente el rendimiento del sistema a costa de un ligero aumento en los parámetros de cálculo. El gráfico de cascada de la Fig. 7 captura el efecto de cada cambio de modelo en la precisión promedio.

Gráfico en cascada de precisión media media (mAP) que muestra que encontramos una mejora significativa cuando cambiamos en la arquitectura del modelo. La mejora máxima se puede atribuir al módulo transformador. Nuestro modelo en el gráfico se refiere al modelo propuesto con cuello BIFPN.

También hemos comparado el rendimiento del modelo utilizando diferentes funciones de activación. Hemos cambiado la función de activación de la capa convolucional. Observamos que el uso de una función de activación ReLU reduce la precisión, ya que la función ReLU no puede recuperarse después de quedarse atascada en una región negativa. El Leaky ReLU funciona ligeramente mejor. Sin embargo, vemos que la función de activación Swish supera a las otras funciones de activación. El gráfico en cascada presentado en la Fig. 8 captura el efecto del uso de las diferentes funciones de activación en la precisión promedio promedio (mAP) del modelo.

Gráfico en cascada de precisión media media (mAP) que muestra el efecto de cambiar las funciones de activación en el modelo. Encontramos una mejora significativa cuando utilizamos la función de activación de Mish. La función de activación Swish produce la mejor mejora en nuestro modelo.

La función de pérdida de regresión es un factor clave en el proceso de entrenamiento y optimización de la detección de objetos. La función de pérdida de regresión más utilizada es la norma Smooth Ln66. Existen algunas limitaciones asociadas con la pérdida normal de Ln. Por ejemplo, no pueden combinar los parámetros del cuadro delimitador67. La pérdida de IoU ofrece una mejora significativa con respecto a la pérdida normal de Ln68. Se basa en la relación de unión cruzada entre el cuadro delimitador y la verdad fundamental. Por tanto, es invariante de escala. Sin embargo, en ciertos casos, cuando la puntuación IoU de la verdad fundamental y el cuadro delimitador es cero, la pérdida sufre un problema de gradiente evanescente. Silvio et al. Pérdida propuesta de IoU generalizada (GIoU) ​​para abordar las limitaciones en IoU69. GIoU utiliza un término de penalización para evitar que la pérdida de IoU siga expandiendo el tamaño del cuadro previsto hasta que se superponga con el cuadro de destino. Sin embargo, GIoU puede sufrir una convergencia lenta. Como tal, Zheng et al. muestran que minimizar directamente la distancia normalizada entre el cuadro predicho y el cuadro objetivo ayuda al algoritmo a converger mucho más rápido67. Además, también considera las orientaciones vertical y horizontal. Esta nueva función de pérdida se conoce como pérdida de intersección de distancia sobre unión (DIoU). Sin embargo, DIoU no puede capturar la coherencia de las relaciones de aspecto de los cuadros delimitadores. La pérdida de regresión completa de IoU (CIoU)67 incorpora todos los factores geométricos. CIoU funciona agregando un factor de penalización \(=\alpha \cdot V\) a DIoU, donde V representa la coherencia de la relación de aspecto. Hemos comparado el efecto de esas diferentes funciones de pérdida de regresión para encontrar que CIoU supera significativamente a todas las demás funciones de pérdida. La Figura 9 compara el rendimiento del modelo (mAP) utilizando las diferentes funciones de pérdida.

Comparación de pérdida de regresión (RLC) que muestra la precisión del modelo (mAP) utilizando las diferentes funciones de pérdida de regresión. La pérdida de CIoU claramente supera a las demás.

Además de comparar las funciones de pérdida convencionales, también proponemos una nueva función de pérdida denominada AIoU que permite al modelo optimizar la altura y el ancho del cuadro delimitador y la verdad fundamental. Presentamos un análisis detallado de esta función de pérdida en la información complementaria.

Finalmente, podemos ejecutar otro estudio de ablación eliminando el módulo transformador de la arquitectura. Observamos una reducción general en la precisión de alrededor del 3,4%. Sin embargo, el deterioro del rendimiento es mucho más drástico para ciertos tipos de defectos. En comparación con el modelo YOLOv5s, observamos un deterioro de alrededor del 9,8% en el mAP para la detección de defectos en espolones y un deterioro del 5,4% para el cobre espurio. El gráfico de cascada de la Fig. 7 captura el efecto de cada cambio de modelo en la precisión promedio. Confirma que el módulo transformador es un componente clave del marco.

En esta sección discutimos los resultados desde múltiples perspectivas. Los resultados muestran que nuestro modelo es capaz de detectar, localizar y clasificar con precisión múltiples apariciones de defectos en imágenes de PCB de placa desnuda. El modelo predice con precisión la ubicación de cada defecto, clasifica el tipo de defecto y proporciona una puntuación de probabilidad.

Para comprender el impacto potencial de este trabajo, es necesario comprender cómo se realiza el proceso de prueba y retrabajo en la mayoría de las líneas de fabricación de PCB industriales tradicionales. Una estación de prueba de contacto directo (sonda volante) proporciona un diagnóstico de pasa/falla en cada PCB individual. Cuando falla, se envía una PCB a la estación de retrabajo, donde un técnico primero buscará defectos bajo un microscopio digital y, si es posible, realizará un retrabajo manual. Si la PCB reelaborada aún falla, se enviará para un diagnóstico más avanzado (utilizando herramientas como imágenes de tomografía de rayos X). Algunas muestras de PCB seleccionadas al azar con un diagnóstico aprobado también se enviarán para inspección de retrabajo y diagnóstico avanzado para control de calidad. Esto se hace para detectar aquellos defectos potenciales no fatales que pueden afectar el funcionamiento y la vida útil del dispositivo a largo plazo. Con un modelo confiable y de alto rendimiento como el descrito en este trabajo, el técnico de retrabajo podría recibir una PCB defectuosa sabiendo exactamente cuáles son los defectos y dónde se pueden encontrar en la PCB. Utilizando métodos de análisis más avanzados, también se podría identificar el origen de esos defectos en el proceso de fabricación. Como tal, una puntuación de alta probabilidad validada en el campo podría ayudar a las empresas manufactureras a reforzar su confianza en la herramienta de diagnóstico mejorada con aprendizaje automático.

En primer lugar, nos gustaría enfatizar que FRCNN con la red troncal ResNet puede lograr rendimientos razonables. Sin embargo, es un detector de objetos de dos etapas que requiere mucho más tiempo para procesar las imágenes y utiliza alrededor de 23,5 millones de parámetros38. Por tanto, creemos que podría resultar difícil implementar esta red en líneas de fabricación de alta velocidad. Si bien logra una mayor precisión, el modelo propuesto utiliza solo 7,02 millones de parámetros. Esto es aproximadamente 3 veces menos que los parámetros de 23,5 M utilizados con un detector de dos etapas o los parámetros de 20,8 M utilizados por el modelo YOLO5m de última generación.

En segundo lugar, nos gustaría destacar que el modelo propuesto mantiene una alta precisión de detección e identificación con imágenes de baja resolución. Esto permite que la tecnología se adopte fácilmente en múltiples industrias, ya que no requiere una costosa tecnología de imágenes. Además, nuestro modelo produce una mejora general del 3,2 % en el mAP [IoU = 0,5] en comparación con el modelo estándar YOLOv5m para la misma duración de entrenamiento.

Lo más importante es que el modelo YOLO v5m logra solo un mAP del 91,3 % para la detección de defectos del estímulo. Mientras tanto, nuestro modelo logra un mAP del 96,9% en defectos de espolón. Creemos que esto demuestra que nuestro modelo es capaz de predecir con precisión defectos que son difíciles de clasificar. Esto podría atribuirse a la capacidad de nuestro modelo para explotar tanto la dependencia global como la invariancia de cambio/escala en las características extraídas.

Los estudios de ablación muestran que la combinación de técnicas de aumento de datos ayuda a generalizar el modelo y mejora el mAP del modelo. Esto evita que el modelo se ajuste demasiado a los datos. La capacidad de trabajar en entornos de alta velocidad con conjuntos de datos pequeños es crucial para la implementación de la tecnología a gran escala. Por lo tanto, preferimos el modelo con PANet, aunque tiene un rendimiento general ligeramente inferior en comparación con BiFPN. Además, el modelo con BiFPN tiene menor precisión que PANet para cobre espurio, que es un defecto común durante el proceso de grabado. Los estudios de ablación también arrojan luz sobre la importancia de utilizar las funciones de activación y pérdida correctas para maximizar el rendimiento del modelo para una detección precisa de defectos. La Tabla 3 presenta una descripción comparativa de los modelos.

En este artículo, proponemos un marco de trabajo de extremo a extremo para detectar defectos de fabricación en placas PCB. En un proceso de fabricación óptimo, la calidad debe integrarse en el proceso. Si bien la mayoría de los defectos de fabricación surgen del proceso de fabricación en sí, los métodos tradicionales de aprobación/falla se centran en reelaborar esos defectos en las PCB defectuosas en lugar de identificar sus orígenes precisos para corregir rápidamente el proceso. Nuestro marco propuesto permitirá a las unidades de fabricación realizar ajustes operativos en el proceso de fabricación y acercarse a un paradigma de fabricación sin defectos. Nuestra red utiliza una combinación de técnicas actuales en aprendizaje profundo: transformadores, fusión de características multinivel, aumento de datos y detección de objetos. Los resultados muestran que nuestro modelo es capaz de detectar, clasificar y localizar con éxito múltiples defectos en imágenes de PCB de placas desnudas de baja resolución. Nuestro modelo es liviano, compatible con baja resolución y proporciona una mejora general del 3,2 % en el mapa [IoU = 0,5] en comparación con el modelo YOLOv5m estándar. Según los resultados iniciales, creemos que la integración de modelos basados ​​en aprendizaje profundo en herramientas de inspección óptica (AOI) totalmente automatizadas es crucial para la detección temprana de defectos de fabricación de PCB y podría generar importantes ganancias de productividad junto con importantes reducciones de costos.

El enfoque presentado parte del fuerte supuesto de que los datos de prueba y de entrenamiento se muestrean a partir de la misma distribución. Un área interesante de trabajo futuro podría ser investigar el rendimiento del método para muestras fuera de distribución. En el trabajo actual, solo hemos considerado PCB de placa desnuda de una sola capa. Otra área interesante de desarrollo podría ser ampliar el análisis para detectar defectos en PCB multicapa.

Los conjuntos de datos generados y/o analizados durante el estudio actual están disponibles en el repositorio PKU-Market-PCB, http://robotics.pkusz.edu.cn/resources/dataset/.

Magera, JA y Dunn, GJ Placa de circuito impreso. Patente estadounidense 7459202 (2008).

Angelopoulos, A. et al. Abordar las fallas en la era de la industria 4.0: un estudio de las soluciones de aprendizaje automático y sus aspectos clave. Sensores 20, 109 (2019).

ADS del artículo Google Scholar

Powell, D., Magnanini, MC, Colledani, M. y Myklebust, O. Avanzando en la fabricación con cero defectos: una perspectiva de vanguardia y futuras direcciones de investigación. Computadora. Indiana 136, 103596. https://doi.org/10.1016/j.compind.2021.103596 (2022).

Artículo de Google Scholar

Psarommatis, F., May, G., Dreyfus, P.-A. & Kiritsis, D. Fabricación con cero defectos: revisión del estado del arte, deficiencias y direcciones futuras en la investigación. En t. J. Prod. Res. 58, 1-17. https://doi.org/10.1080/00207543.2019.1605228 (2020).

Artículo de Google Scholar

Psarommatis, F. & Kiritsis, D. Un sistema híbrido de soporte a la decisión para automatizar la toma de decisiones en caso de defectos en la era de la fabricación sin defectos. J. Ind. Inf. Integral 26, 100263. https://doi.org/10.1016/j.jii.2021.100263 (2022).

Artículo de Google Scholar

He, K., Zhang, X., Ren, S. & Sun, J. Aprendizaje residual profundo para el reconocimiento de imágenes. En Actas de la Conferencia IEEE sobre visión por computadora y reconocimiento de patrones 770–778 https://doi.org/10.1109/CVPR.2016.90 (2016).

Squire, B., Brown, S., Readman, J. & Bessant, J. El impacto de la personalización masiva en las compensaciones de fabricación. Pinchar. Ópera. Gestionar. 15, 10-21. https://doi.org/10.1111/j.1937-5956.2006.tb00032.x (2006).

Artículo de Google Scholar

Dreyfus, P.-A., Psarommatis, F., May, G. & Kiritsis, D. La metrología virtual como enfoque para la estimación de la calidad del producto en la industria 4.0: una revisión sistemática y un marco conceptual integrador. En t. J. Prod. Res 60, 742–765. https://doi.org/10.1080/00207543.2021.1976433 (2022).

Artículo de Google Scholar

Maggipinto, M., Masiero, C., Beghi, A. y Susto, GA Un enfoque de codificador automático convolucional para la extracción de características en metrología virtual. Fabricación Procedia. 17, 126-133 (2018).

Artículo de Google Scholar

Moganti, M., Ercal, F., Dagli, CH y Tsunekawa, S. Algoritmos de inspección automática de PCB: una encuesta. Computadora. Vis. Comprensión de la imagen. 63, 287–313 (1996).

Artículo de Google Scholar

Thibadeau, RH Inspección visual automatizada como percepción calificada (Sociedad de Ingenieros de Manufactura, 1985).

Google Académico

Eleftheriadis, R. & Myklebust, O. Una guía de pasos de calidad hacia la fabricación sin defectos en la industria. En Actas de la Conferencia Internacional sobre Ingeniería Industrial y Gestión de Operaciones 332–340 (2016).

Wang, Y., Pan, Z., Yuan, X., Yang, C. y Gui, W. Un novedoso enfoque de diagnóstico de fallas basado en el aprendizaje profundo para procesos químicos con una red extendida de creencias profundas. ISA Trans. 96, 457–467. https://doi.org/10.1016/j.isatra.2019.07.001 (2020).

Artículo PubMed Google Scholar

Yuan, X. y col. Representación jerárquica de características relevantes para la calidad para el modelado de sensores suaves: una novedosa estrategia de aprendizaje profundo. Traducción IEEE. Indiana Informar. 16, 3721–3730. https://doi.org/10.1109/TII.2019.2938890 (2019).

Artículo de Google Scholar

Xu, G., Liu, M., Jiang, Z., Shen, W. y Huang, C. Método de diagnóstico de fallas en línea basado en redes neuronales convolucionales de transferencia. Traducción IEEE. Instrumento. Medidas. 69, 509–520. https://doi.org/10.1109/TIM.2019.2902003 (2019).

Artículo de Google Scholar

Roselli, D., Matthews, J. y Talagala, N. Gestión del sesgo en la IA. En Actas complementarias de la Conferencia World Wide Web de 2019 539–544, https://doi.org/10.1145/3308560.3317590 (2019).

Ben-David, S., Blitzer, J., Crammer, K. & Pereira, F. Análisis de representaciones para adaptación de dominio. En Avances en sistemas de procesamiento de información neuronal, vol. 19 (2006).

Han, T., Liu, C., Yang, W. y Jiang, D. Red de transferencia profunda con adaptación de distribución conjunta: un nuevo marco de diagnóstico de fallas inteligente para aplicaciones industriales. ISA Trans. 97, 269–281. https://doi.org/10.1016/j.isatra.2019.08.012 (2020).

Artículo PubMed Google Scholar

He, Y., Song, K., Meng, Q. y Yan, Y. Un enfoque de detección de defectos en superficies de acero de extremo a extremo mediante la fusión de múltiples características jerárquicas. Traducción IEEE. Instrumento. Medidas. 69, 1493-1504. https://doi.org/10.1109/TIM.2019.2915404 (2019).

Artículo de Google Scholar

Vafeiadis, T. et al. Un marco para la inspección de accesorios de matrices en PCB utilizando técnicas de aprendizaje automático. J. Gestionar. Anal. 5, 81–94. https://doi.org/10.1080/23270012.2018.1434425 (2018).

Artículo de Google Scholar

Dimitriou, N. y col. Un marco de aprendizaje profundo para simulación y predicción de defectos aplicado en microelectrónica. Simultáneo. Modelo. Practica. Teoría 100, 102063. https://doi.org/10.1016/j.simpat.2019.102063 (2020).

Artículo de Google Scholar

Lin, F. y Cheng, K.-T. Un enfoque de red neuronal artificial para detectar fugas de pruebas. En 2017, 22.ª Conferencia sobre automatización del diseño de Asia y el Pacífico Sur (ASP-DAC) 414–419 https://doi.org/10.1109/ASPDAC.2017.7858358 (2017).

Lee, H., Kim, Y. & Kim, CO Un modelo de aprendizaje profundo para un monitoreo robusto de fallas de oblea con ruido de medición del sensor. Traducción IEEE. Semisegundo. Fabricante. 30, 23-31 (2016).

Artículo de Google Scholar

Ibrahim, Z. & Rahman Al-Attas, SA Algoritmo de inspección de placas de circuito impreso basado en Wavelet. Integral Computadora. Ing. 12, 201–213. https://doi.org/10.3233/ICA-2005-12206 (2005).

Artículo de Google Scholar

Ibrahim, Z., Al-Attas, S., Aspar, Z. y Mokji, MM Evaluación del rendimiento del algoritmo de localización y detección de defectos de PCB basado en wavelets. En 2002 Conferencia internacional IEEE sobre tecnología industrial, 2002. IEEE ICIT'02., vol. 1, 226–231 https://doi.org/10.1109/ICIT.2002.1189895 (2002).

Xie, L., Huang, R. & Cao, Z. Detección y clasificación de patrones de defectos en inspección óptica utilizando máquinas de vectores de soporte. En Conferencia internacional sobre informática inteligente 376–384, https://doi.org/10.1007/978-3-642-39479-9_45 (2013).

Goyal, D., Choudhary, A., Pabla, B. & Dhami, S. Sistema de diagnóstico de fallas sin contacto basado en máquinas de vectores de soporte para rodamientos. J. Intel. Fabricante. Apocalipsis 31, 1275–1289. https://doi.org/10.1007/s10845-019-01511-x (2020).

Artículo de Google Scholar

Malge, P. & Nadaf, R. Detección, clasificación y localización de defectos de PCB mediante morfología matemática y herramientas de procesamiento de imágenes. En t. J. Computación. Aplica. 87, 40–45. https://doi.org/10.5120/15240-3782 (2014).

Artículo de Google Scholar

Huang, W., Wei, P., Zhang, M. y Liu, H. Hripcb: un conjunto de datos desafiante para la detección y clasificación de defectos de PCB. J. Eng. https://doi.org/10.1049/joe.2019.1183 (2020).

Artículo de Google Scholar

Takada, Y., Shiina, T., Usami, H., Iwahori, Y. y Bhuyan, M. Detección de defectos y clasificación de placas de circuitos electrónicos mediante extracción de puntos clave y funciones CNN. En la Novena Conferencia Internacional sobre Patrones Generalizados y Defectos de Aplicaciones, vol. 100, 113-116 (2017).

Liu, Z. & Qu, B. Detección en línea de defectos de PCB basada en visión artificial. Microproceso. Microsistema. 82, 103807. https://doi.org/10.1016/j.micpro.2020.103807 (2021).

Artículo de Google Scholar

Jin, J., Feng, W., Lei, Q., Gui, G. y Wang, W. Inspección de defectos de PCB mediante DETR deformable. En 2021, Séptima Conferencia Internacional sobre Informática y Comunicaciones (ICCC) 646–651 https://doi.org/10.1109/ICCC54389.2021.9674579 (2021).

Silva, LHd. S. et al. Inspección óptica automática para detección de PCB defectuosa mediante aprendizaje por transferencia. En 2019 Conferencia Latinoamericana IEEE sobre Inteligencia Computacional (LA-CCI) 1–6 https://doi.org/10.1109/LA-CCI47412.2019.9037036 (2019).

Ghosh, B., Bhuyan, M., Sasmal, P., Iwahori, Y. y Gadde, P. Clasificación de defectos de placas de circuito impreso basada en el aprendizaje por transferencia. En 2018, Conferencia de procesamiento de señales aplicadas del IEEE (ASPCON) 245–248 https://doi.org/10.1109/ASPCON.2018.8748670 (2018).

Volkau, I., Mujeeb, A., Wenting, D., Marius, E. y Alexei, S. Defecto de detección en placas de circuito impreso mediante extracción de características no supervisada tras el aprendizaje por transferencia. En 2019, Conferencia Internacional sobre Cibermundos (CW) 101–108 https://doi.org/10.1109/CW.2019.00025 (2019).

Usted, S. Detección de defectos de PCB basada en una red generativa de confrontación. En 2022, Segunda Conferencia Internacional sobre Electrónica de Consumo e Ingeniería Informática (ICCECE) 557–560 https://doi.org/10.1109/ICCECE54139.2022.9712737 (2022).

Jiao, L. y col. Un estudio sobre la detección de objetos basada en el aprendizaje profundo. Acceso IEEE 7, 128837–128868. https://doi.org/10.1109/ACCESS.2019.2939201 (2019).

Artículo de Google Scholar

Huang, J. y col. Compensaciones entre velocidad y precisión para los detectores de objetos convolucionales modernos. En Actas de la Conferencia IEEE sobre visión por computadora y reconocimiento de patrones 3296–3297 https://doi.org/10.1109/CVPR.2017.351 (2017).

Wu, X., Ge, Y., Zhang, Q. y Zhang, D. Detección de defectos de PCB mediante métodos de aprendizaje profundo. En 2021, IEEE 24.a Conferencia internacional sobre trabajo cooperativo en diseño asistido por computadora (CSCWD) 873–876 https://doi.org/10.1109/CSCWD49262.2021.9437846 (2021).

Adibhatla, VA y cols. Aplicación del aprendizaje profundo a la detección de defectos en placas de circuito impreso a través de un modelo más nuevo de "solo miras una vez". Matemáticas. Biosci. Ing.https://doi.org/10.3934/mbe.2021223 (2021).

Artículo PubMed Google Scholar

Lan, Z., Hong, Y. & Li, Y. Un método yolov3 mejorado para la detección de defectos en la superficie de PCB. En 2021, Conferencia internacional IEEE sobre electrónica de potencia, aplicaciones informáticas (ICPECA) 1009–1015 https://doi.org/10.1109/ICPECA51329.2021.9362675 (2021).

Watanabe, K. y col. Revisión de métodos y resultados de inspección óptica. En Actas de SRF 123 (2009).

Redmon, J., Divvala, S., Girshick, R. y Farhadi, A. Solo miras una vez: detección de objetos unificada en tiempo real. En Actas de la Conferencia IEEE sobre visión por computadora y reconocimiento de patrones 779–788 https://doi.org/10.1109/CVPR.2016.91 (2016).

Szegedy, C. y col. Profundizando con las convoluciones. En Actas de la Conferencia IEEE sobre visión por computadora y reconocimiento de patrones 1–9 https://doi.org/10.1109/CVPR.2015.7298594 (2015).

Jocher, G. y col. ultralytics/yolov5: v6.0: modelos YOLOv5n 'Nano', integración de Roboflow, exportación de TensorFlow, compatibilidad con OpenCV DNN https://doi.org/10.5281/zenodo.5563715 (2021).

Liu, S., Qi, L., Qin, H., Shi, J. & Jia, J. Red de agregación de rutas, por ejemplo, segmentación. En Actas de la Conferencia IEEE sobre visión por computadora y reconocimiento de patrones 8759–8768 https://doi.org/10.1109/CVPR.2018.00913 (2018).

Keskar, NS y Socher, R. Mejora del rendimiento de la generalización cambiando de Adam a SGD. 1, 143–148 https://doi.org/10.1109/ICNN.1994.374153 preimpresión de arXiv arXiv:1712.07628 (2017).

Guo, Z., Wang, C., Yang, G., Huang, Z. & Li, G. Msft-yolo: Yolov5 mejorado basado en transformador para detectar defectos en la superficie del acero. Sensores 22, 3467. https://doi.org/10.3390/s22093467 (2022).

Artículo ADS CAS PubMed PubMed Central Google Scholar

Huang, H., Tang, X., Wen, F. y Jin, X. Método de detección de objetos pequeños con red de fusión de características poco profundas para la detección de defectos en la superficie del chip. Ciencia. Representante 12, 1–9. https://doi.org/10.1038/s41598-022-07654-x (2022).

Artículo ADS CAS Google Scholar

Ren, S., He, K., Girshick, R. & Sun, J. R-CNN más rápido: hacia la detección de objetos en tiempo real con redes de propuesta de región. Adv. Neural. inf. Proceso. Sistema. 28, 91–99. https://doi.org/10.1109/TPAMI.2016.2577031 (2015).

Artículo de Google Scholar

Girshick, R. R-CNN rápido. En Actas de la Conferencia Internacional IEEE sobre Visión por Computadora 1440–1448 https://doi.org/10.1109/ICCV.2015.169 (2015).

Lin, T.-Y., Goyal, P., Girshick, R., He, K. & Dollár, P. Pérdida focal para la detección de objetos densos. Traducción IEEE. Patrón Anal. Mach. Intel.https://doi.org/10.1109/TPAMI.2018.2858826 (2020).

Artículo PubMed Google Scholar

Lin, T.-Y. et al. Presenta redes piramidales para la detección de objetos. En Actas de la Conferencia IEEE sobre visión por computadora y reconocimiento de patrones 936–944 https://doi.org/10.1109/CVPR.2017.106 (2017).

Neubeck, A. y Van Gool, L. Supresión no máxima eficiente. En la XVIII Conferencia Internacional sobre Reconocimiento de Patrones (ICPR'06), vol. 3, 850–855 https://doi.org/10.1109/ICPR.2006.479 (2006).

Ren, S., He, K., Girshick, R., Zhang, X. & Sun, J. Redes de detección de objetos en mapas de características convolucionales. Traducción IEEE. Patrón Anal. Mach. Intel. 39, 1476-1481. https://doi.org/10.1109/TPAMI.2016.2601099 (2016).

Artículo de Google Scholar

Cordonnier, J.-B., Loukas, A. & Jaggi, M. Sobre la relación entre autoatención y capas convolucionales. En Octava Conferencia Internacional sobre Representaciones del Aprendizaje-ICLR 2020 CONF (2020).

Khan, S. y col. Transformadores en visión: una encuesta. Computación ACM. Sobrevivir. (CSUR)https://doi.org/10.1145/3505244 (2021).

Artículo de Google Scholar

Perez, L. & Wang, J. La eficacia del aumento de datos en la clasificación de imágenes mediante el aprendizaje profundo. https://doi.org/10.48550/arXiv.1712.04621arXiv preimpresión arXiv:1712.04621 (2017).

Shorten, C. & Khoshgoftaar, TM Una encuesta sobre el aumento de datos de imágenes para el aprendizaje profundo. J. Grandes datos 6, 1–48. https://doi.org/10.1186/s40537-019-0197-0 (2019).

Artículo de Google Scholar

Bochkovskiy, A., Wang, C.-Y. & Liao, H.-YM Yolov4: Velocidad óptima y precisión de detección de objetos. https://doi.org/10.48550/arXiv.2004.10934 preimpresión de arXiv arXiv:2004.10934 (2020).

Yun, S. y col. Cutmix: estrategia de regularización para entrenar clasificadores potentes con características localizables. En Actas de la Conferencia Internacional IEEE/CVF sobre Visión por Computadora 6023–6032 https://doi.org/10.1109/ICCV.2019.00612 (2019).

Paszke, A. et al. Pytorch: una biblioteca de aprendizaje profundo de alto rendimiento y estilo imperativo. En Wallach, H. et al. (eds.) Avances en sistemas de procesamiento de información neuronal 32 8024–8035 (Curran Associates, Inc., 2019).

Keys, R. Interpolación de convolución cúbica para procesamiento de imágenes digitales. Traducción IEEE. Acústico. Proceso de señal de voz. 29, 1153-1160. https://doi.org/10.1109/TASSP.1981.1163711 (1981).

Artículo ADS MathSciNet MATH Google Scholar

Alibrahim, H. & Ludwig, SA Optimización de hiperparámetros: comparación del algoritmo genético con la búsqueda de cuadrícula y la optimización bayesiana. En 2021, Congreso del IEEE sobre Computación Evolutiva (CEC) 1551–1559 https://doi.org/10.1109/CEC45853.2021.9504761 (2021).

Sandler, M., Howard, A., Zhu, M., Zhmoginov, A. y Chen, L.-C. Mobilenetv2: residuos invertidos y cuellos de botella lineales. En Actas de la Conferencia IEEE sobre visión por computadora y reconocimiento de patrones 4510–4520 https://doi.org/10.1109/CVPR.2018.00474 (2018).

Wang, H., Nie, F. & Huang, H. Aprendizaje métrico a distancia robusto mediante minimización y maximización simultánea de la norma l1. En Conferencia internacional sobre aprendizaje automático, vol. 32, 1836–1844 (2014).

Zheng, Z. et al. Pérdida de distancia: aprendizaje mejor y más rápido para la regresión del cuadro delimitador. En Actas de la Conferencia AAAI sobre Inteligencia Artificial, vol. 34, 12993–13000 https://doi.org/10.1609/aaai.v34i07.6999 (2020).

Yu, J., Jiang, Y., Wang, Z., Cao, Z. y Huang, T. Unitbox: una red avanzada de detección de objetos. En Actas de la 24ª Conferencia Internacional ACM sobre Multimedia 516–520 https://doi.org/10.1145/2964284.2967274 (2016).

Rezatofighi, H. et al. Intersección generalizada sobre unión: una métrica y una pérdida para la regresión del cuadro delimitador. En Actas de la Conferencia IEEE/CVF sobre visión por computadora y reconocimiento de patrones 658–666 https://doi.org/10.1109/CVPR.2019.00075 (2019).

Descargar referencias

Los autores agradecen a los programas NSERC-Discovery y Canada Research Chair por su apoyo financiero.

Departamento de Ingeniería Eléctrica, École de Technologie Supérieure, 1100 Notre-Dame Ouest, Montreal, QC, H3C 1K3, Canadá

Abhiroop Bhattacharya y Sylvain G. Cloutier

También puedes buscar este autor en PubMed Google Scholar.

También puedes buscar este autor en PubMed Google Scholar.

SGC y AB diseñaron el concepto y el enfoque experimental. AB desarrolló el modelo y realizó los experimentos. AB escribió el primer borrador del manuscrito. SGC revisó el manuscrito y lo corrigió.

Correspondencia a Sylvain G. Cloutier.

Los autores declaran no tener conflictos de intereses.

Springer Nature se mantiene neutral con respecto a reclamos jurisdiccionales en mapas publicados y afiliaciones institucionales.

Acceso Abierto Este artículo está bajo una Licencia Internacional Creative Commons Attribution 4.0, que permite el uso, compartir, adaptación, distribución y reproducción en cualquier medio o formato, siempre y cuando se dé el crédito apropiado a los autores originales y a la fuente. proporcione un enlace a la licencia Creative Commons e indique si se realizaron cambios. Las imágenes u otro material de terceros en este artículo están incluidos en la licencia Creative Commons del artículo, a menos que se indique lo contrario en una línea de crédito al material. Si el material no está incluido en la licencia Creative Commons del artículo y su uso previsto no está permitido por la normativa legal o excede el uso permitido, deberá obtener permiso directamente del titular de los derechos de autor. Para ver una copia de esta licencia, visite http://creativecommons.org/licenses/by/4.0/.

Reimpresiones y permisos

Bhattacharya, A., Cloutier, SG Marco de aprendizaje profundo de un extremo a otro para la clasificación de defectos de fabricación de placas de circuito impreso. Informe científico 12, 12559 (2022). https://doi.org/10.1038/s41598-022-16302-3

Descargar cita

Recibido: 13 de abril de 2022

Aceptado: 07 de julio de 2022

Publicado: 22 de julio de 2022

DOI: https://doi.org/10.1038/s41598-022-16302-3

Cualquier persona con la que compartas el siguiente enlace podrá leer este contenido:

Lo sentimos, actualmente no hay un enlace para compartir disponible para este artículo.

Proporcionado por la iniciativa de intercambio de contenidos Springer Nature SharedIt

Informes Científicos (2023)

Herramientas y aplicaciones multimedia (2023)

Al enviar un comentario, acepta cumplir con nuestros Términos y pautas de la comunidad. Si encuentra algo abusivo o que no cumple con nuestros términos o pautas, márquelo como inapropiado.