Automatisk detektering av muttrar hos AB Volvo

Under sommaren 2019 utfördes ett experiment på Stena Industry Innovation Lab (SII-Lab) av Kevin Wedin, Christoffer Johnsson och Viktor Bengtsson, för att undersöka möjligheten att använda robotar och ett vision system för att identifiera muttrar och se vilka som skall dras på den specifika stationen. För att utföra automatisk igenkänning av vilka muttrar som skulle dras användas machine learning. Resultatet visar en 97 procentig säkerhet att de muttrar som skall dras hittas, vilket visar att denna metod är mycket pålitlig.

Varje lastbilsram har två sidor med muttrar som måste dras, i genomsnitt innehåller varje ram ungefär 200 bultar. Vissa muttrar placeras åt andra hållet (inverterade) för att visa nästkommande station att dessa inte skall dras, cirka 30 av bultarna är inverterade bultar.

Lastbilen rör sig långsamt över monteringsstationen under hela taktiden som är cirka 5 minuter i dagsläget. Idag arbetar två montörer på varje sida med pneumatiska skruvdragare. De delar ramen i en övre och en undre nivå för att undvika att dra åt samma muttrar.

Ett av målen är att undersöka om en robot skulle kunna användas för åtdragning och om ett vision system skulle kunna användas för dedektering av muttrarna så att roboten vet vilka som skall dras.

Målet med detta experiment var att undersöka om det går att använda vanliga webkameror för att lära systemet vilka muttrar som skall dras, utforska vilken algoritm som lämpar sig bäst samt att påvvisa en hög kvalitet på detekteringen.

För att se vilka muttrar som skall dras användes machine learning med övervakad träning. Implementationen gjordes i programvaran Tenserflow. I övervakad träning krävs att alla bilder är märkta, så för varje bild användes LabelImg.

Totalt testades två olika algoritmer (SSD och R-CNN) och fyra olika antal bilder (119,141,124,322) för att se hur många bilder som krävdes för att få en noggranhet över 95 procent. Positionen av bultarna räknas ut genom att mäta avståndet till ramen och kameras field of view, illustrerat i figuren nedan.

Uppställningen av kamera och robot för att ta bilder för upplärningen.

På varje bild finns ett antal bultar som skall dras och ett antal inveterade bultar som inte skall dras. Genom att lära algoritmen hur de olika bultarna ser ut kan programmet sedan räkna ut vilka bultar som är vilka, ett sådant resultat ses nedan. Det bästa resultatet fick genom att använda Faster R-CNN algoritmen och 322 bilder. På dessa bilder fanns totalt 1496 bultar varav 928 var bultar som skulle dras och 568 bultar som var inveterade.

Nut assembly
Ett resultat från objektigenkänningen

Resultatet visar en 99 procentig dedektering av vilken typ av bult det är. Flexibiliteten i detta gör att oberoende var bultarna sitter i kamerans field of View så kan algoritmen tala om vilken typ av bult det är.Detta är en förutsättning eftersom varje lastbil ser olika ut så gör det att variant floran är mycket stor. Även om roboten i dagsläget inte skruvar bultarna skulle detta vara möjligt att testa med. Ett testverktygs gjordes som går in och simulerar en skruvning.

Målet med experimentet var att testa olika algoritmer och undersöka om det var möjligt att använda vanliga webkameror för dedektering.Fortsatt forskning och testning behövs för att en implementation skall ske, rörliga omjekt och testning i verklig miljö hade varit intressant att testa. Även ytterligare optimering av beräkningar och träning hade kunnat göras.

Ytterilgare frågestälningar som kollaborativ arbetsplats eller helautomatiserade stationer är också intressant att ta vidare från detta experiment.

En forskningsartikel kommer publiceras under sommaren och kommer även upp här när den är publicerad!

Filmen visar en sammanfattning av experimentet.

Mer information

För mer information, kan du:


Taggar

Artikeln är taggad med följande taggar. Klicka på en tagg för att se alla artiklar med samma taggning.

Artikeln är kategoriserat som Avancerat  |  Publicerad 2020-05-05  |  Skriven av Åsa Fast-Berglund