Moord of ongeval: objectherkenning helpt Shanghai bij vaststellen doodsoorzaak
Labworld vroeg High Tech Software Cluster lid Sioux om beeldanalysetechnologie die zijn forensische analyseproducten effectiever moest maken. Het technologiehuis ontdekte in een vooronderzoek dat de echte problemen en winst in een betere workflow zaten. Met de gebruik van Machine Learning technologie werden daarna bottlenecks geslecht, met aanzienlijke tijdsbesparingen en efficiëntieverbeteringen als resultaat.
In de loop van 2018 klopt Labworld uit Shanghai aan bij Sioux Technologies voor beeldherkenningstechnologie. Daarmee hopen ze een analyseproces te verbeteren dat uitsluitsel geeft over ongeval of moord bij verdrinkingsdoden. Dit soort moorden komen in China relatief veel voor door het ontbreken van vuurwapens. Om de doodsoorzaak bij drenkelingen te verhelderen gebruiken forensische experts elektronenmicroscopen om in monsters van het long-, nier- of leverweefsel te zoeken naar diatomeeën (kiezelwiertjes). Dit zijn eencellige algen die overal in natuurlijke wateren voorkomen. Er zijn wel tienduizend verschillende soorten, allemaal verschillend in vorm en grootte. Door allerlei invloeden heeft elk oppervlaktewater zijn eigen specifieke populaties. Die kunnen dus dienen als een vingerafdruk van de plaats delict. Als de wiertjes in het oppervlaktewater op de vindplaats van de dode niet overeenkomen met de samenstelling van het water in de longen, dan is er iets aan de hand.
Belangrijk om de taal van de eindklant te spreken
Labworld kent Sioux van Phenom-World, tegenwoordig onderdeel van Thermo Fisher Scientific. Het Chinese bedrijf levert de tafel-elektronenmicroscopen van Thermo Fisher bij zijn zelf ontwikkelde analysetools. Die zijn onder meer gericht op CSI-achtige onderzoeken naar moorden. Labworld zag kansen voor verbetering met beeldherkenning. Martijn Kabel, innovatiemanager bij Sioux Technologies: “Labworld dacht dat automatische beeldherkenning de boel flink zou versnellen. Dat dachten wij in eerste instantie ook.” Sioux startte echter met het in kaart brengen van de hele workflow. Daarvoor bezocht een medewerker van hun Chinese vestiging forensische experts in Guangzhou. Het provinciale politiebureau daar staat bekend als autoriteit op het gebied van forensisch onderzoek op basis van diatomeeën. Kabel: “Het was heel belangrijk dat onze collega de taal sprak en tegelijkertijd wist wat er binnen Sioux allemaal mogelijk was”.
De Sioux-medewerker zag experts handmatig afbeeldingen maken. Daarna identificeerden en telden ze de diatomeeën. Op die manier kost het meerdere dagen om een enkele verdrinkingszaak te onderzoeken. “Doordat wij de workflow heel precies in kaart brachten, zagen we dat er met één voor één scannen, en analyseren veel te veel mens-machine interactie nodig was. Opschalen was bijna onmogelijk. Daar zou beeldherkenning ook weinig aan veranderen”, aldus Kabel. Duidelijk werd dat de echte winst zat in het verminderen van de scantijd.
Objectherkenning en niet beeldherkenning blijkt sleutel tot tijdwinst
Uit de workflowanalyse kwam naar voren dat het beoordelingsproces enorm zou versnellen als de forensisch expert geholpen zou worden bij een eerste grove beoordeling: of er überhaupt diatomeeën in het beeld te zien zijn. Sioux dacht dat dit automatisch zou kunnen. De computer moest dan een voorselectie maken van de plaatjes waarop mogelijk kiezelwiertjes te zien zijn. Experts zouden dan pas nodig zijn bij de uiteindelijke beoordeling: of het inderdaad om diatomeeën gaat en welke dat zijn.
Voor de automatische voorselecties van kiezelwiertjes bleken objectherkenningsalgoritmes gebaseerd op Machine Learning technologie uit de wereld van het autonoom rijden van pas te komen. Rob Knoops, als wiskundig engineer betrokken bij het Labworld project: “We zetten in de microscoopopname een signaalvierkant om potentiële diatomeeën, net zoals het objectherkenningsalgoritme bij autonoom rijden een vierkant zet om potentiële verkeersborden en personen. Als volgende stap kun je van deze potentiële treffers een hogere resolutie afbeelding maken. De forensische expert kan dan beoordelen of dit er inderdaad één is, of dat het om een misser gaat. Met deze ruwe voorselectie krijg je wel missers, maar die zijn acceptabel.”
Op deze manier werd in deze specifieke workflow tijd bespaard door op een zo laag mogelijke resolutie potentiële treffers op te sporen. Om daarna alleen van potentiële treffers hogere resolutiebeelden te maken. Met deze werkwijze zijn minder hogeresolutie plaatjes nodig, wat het tijdsbeslag op de elektronenmicroscoop terugdringt.
Optimale gebruikersinterface zorgt voor nog een verbetering
Kabel: “Bij de optimalisatie van het gehele analyseproces zijn we in de huid gekropen van de eindgebruiker en hebben een user experience analyse gemaakt. Aan de hand daarvan hebben we een mockup ontwikkeld en met de klant besproken. Daarop waren verschillende samples te zien met een indicator die de voortgang van het geautomatiseerde scanproces aangeeft. Ook was in het concept te zien welke deelgebieden al zijn analyseerd en waar potentiële diatomeeën aanwezig zijn. We vroegen de mensen van Labworld: ‘Stel dat we het zo inrichten, past dat dan bij wat je verwacht?’ Bij het doorspreken kwam vanzelf bovendrijven wat voor hen goed werkt. Ook kwamen ze zelf met nieuwe ideeën. Zo hebben we het ontwerp van de workflow-applicatie bijgeschaafd, totdat we tot een goed werkend concept kwamen.”
Focus op workflow en waarde belangrijker dan technologie
Kabel benadrukt dat het belangrijk is te focussen op de workflow en de value stream zelf. Technici hebben vaak de neiging om te denken vanuit technische mogelijkheden, maar vaak vormen die niet de beperkende factoren. Dat zijn eerder tijd en budget. “Kijk daarom vooral naar wat voor de klant, of voor je product belangrijk is en probeer binnen de tijd en het beschikbare budget te bepalen hoe je door slim data te verzamelen een maximaal resultaat kunt bereiken.”
Ook Knoops benadrukt het perspectief van de eindgebruiker: “Het is voor de forensisch expert helemaal niet nodig om een mooi plaatje van een diatomee te maken – hoewel dit technisch mogelijk is en het schitterende foto’s oplevert. Het is zelfs niet belangrijk om perfect automatisch diatomeeën te herkennen. Experts willen vooral weten dat het om een kiezelwiertje gaat en om wat voor een. Met de werkwijze besparen forensische experts aanzienlijk tijd, waardoor verdrinkingszaken nu veel sneller zijn af te handelen.”