Embedded Vision Prototyp für die Gewichtsüberwachung von Nutztieren

Prozess

Bei diesem Prototyp handelt es sich um ein neuartiges System, was bedeutet, dass wir nicht viele Referenzen auf dem Markt zur Hilfe hatten und das meiste erforderliche Wissen anhand der Trial-and-Error-Methode gewannen.

Die größte Herausforderung, vor der wir standen, war das Fehlen von Trainingsdaten. Deshalb bestand unser erster Schritt darin, ein Erfassungssystem für Hardwaredaten zu bauen, das wir auf dem Bauernhof installieren konnten. Das System umfasste eine normale Waage mit zwei Stereokameras, die über der Waage angebracht waren.

Unsere Vision war, dass die Kameras ein Bild des Schweinerückens aufnehmen, wenn ein Schwein auf die Waage tritt. Dann würde das Gewicht auf der Waage automatisch dem Bild zugeordnet, und wir hätten einen Bild-Gewicht-Datensatz in der Datenbank. Mit genügend Datensätzen dieser Art würden wir einen Algorithmus zur Gewichtserkennung entwickeln können. Der erste Prototyp war jedoch stationär und funktionierte effektiv nur ab einer bestimmten Höhe des Stativs mit den Kameras.

Während der Arbeit an der Hardware stießen wir auf weitere Herausforderungen, wie z. B. dass Schweine auf der Waage schliefen, dass mehrere Schweine die gleichzeitig auf die Waage traten, dass Fäkalien die Waage bedeckten, dass Licht in die Kameras reflektiert wurde und die Bilder verzerrte, usw.

Als die Hardware fertig war, begannen unsere Datenwissenschaftler mit der Arbeit an dem Algorithmus zur Gewichtserkennung. Wir probierten verschiedene Ansätze aus, darunter neuronale Netzwerke und mathematische Modellierungen, und schließlich haben sich unsere Ingenieure für eine Reihe von nicht-iterativen neuronalen Netzwerken in Kombination mit einem benutzerdefinierten Bilderkennungsalgorithmus entschieden. Dieser Ansatz bietet eine Erkennungsgenauigkeit von nahezu 98 % bei manuell bereinigten und vorverarbeiteten Daten.

Unser nächster Schritt war die Herstellung eines zweiten Prototyps, der im Gegensatz zum ersten tragbar sowie praktischer sein sollte. Unsere Ingenieure haben einen Höhensensor und einen Kamerastabilisator hinzugefügt. Beide Prototypen verwenden eine energieintensive Beleuchtung und passive 3D-Kameras für die Verbesserung der Bildqualität.

Die ersten beiden Prototypen reagierten empfindlich auf die Lichtverhältnisse, d. h. unterschiedliche Lichtverhältnisse führten zu unterschiedlichen Wiegeergebnissen. Das LS-Team konnte dieses Problem nicht durch die Bereitstellung von zusätzlichem Licht lösen, da dies das Gewicht des Geräts erhöht hätte und mehr Energie erforderlich gewesen wäre. Also beschlossen wir, die vorhandene Kamera gegen eine passive Stereokamera von Stereolabs auszutauschen, die im RGB-Spektrum arbeitet, sowie gegen eine Stereokamera Intel RealSense D435, um das Infrarotspektrum abzudecken. Auf diese Weise konnte der dritte Prototyp des Geräts auch bei schlechten Lichtverhältnissen effizient arbeiten und dem neuronalen Netzwerk qualitativ hochwertige Bilder liefern. Jetzt muss sich das ML-Modell nicht mehr auf die Farbe oder die Rasse eines Schweins verlassen, um ein Schwein zu erkennen; stattdessen erkennt das neuronale Netzwerk dank der neu hinzugefügten Kamera die Körperform und das Gewicht eines Schweins auch bei schlechten Lichtverhältnissen.

In der laufenden Projektentwicklungsphase des dritten Prototyps konzentrieren wir uns auf die Automatisierung, denn das Gerät soll dem Kunden Zeit und Geld sparen. Unsere Data-Science-Ingenieure arbeiten an einem Filter auf Grundlage eines neuronalen Netzwerks, der automatisch erkennt, ob das Bild eines Schweins für ein präzises Wiegen geeignet ist, und die Fälle aussortiert, in denen sich ein Schwein in der falschen Position befindet. Das LS-Team möchte das Gerät auch für den Einsatz unter Feldbedingungen tauglich machen, indem es den Algorithmus verbessert und ihm beibringt, das Gewicht eines Schweins aus jeder Höhe zu erkennen. Diesmal muss das ML-Modell neu trainiert werden, um mit den von einem tragbaren Gerät erfassten Daten arbeiten zu können.

Der Kunde verlässt sich auf unsere Embedded-Linux-Services und führt die Kooperation mit unserem Team fort. Mit der Entwicklung des dritten tragbaren Prototyps werden die Landwirte in der Lage sein, Schweine noch schneller zu wiegen, als dies mit dem ersten und zweiten Prototyp möglich war.