Embedded vision prototype for livestock weight monitoring - Lemberg Solutions - Banner

Embedded Vision Prototyp für die Gewichtsüberwachung von Nutztieren

Ein automatisiertes System zur Überwachung des Gewichts von Schweinen auf Grundlage von Bilderkennungstechnologie mithilfe von Computer Vision und nicht-iterativen neuronalen Netzwerken

Über den Kunden

Barkom Ltd. ist ein ukrainisches Landwirtschaftsunternehmen, das sich auf die Zucht von Schweinen und Rindern sowie auf den Verkauf von selbst erzeugten Nahrungsmittelprodukten spezialisiert hat.

Herausforderung

Das Gewicht ist ein wichtiger Indikator für die Gesundheit eines Schweins, weshalb eine regelmäßige Gewichtskontrolle in der Schweinehaltung unerlässlich ist. Das manuelle Wiegen ist jedoch arbeitsintensiv, vor allem in großen Betrieben; es erfordert mehrere Personen und viele Stunden, um die Tiere einzeln zu wiegen - und wenn dies täglich geschehen muss, erhöht sich der Aufwand dramatisch. Dieses Problem zwang Barkom, eine Lösung für die automatische, ferngesteuerte und tägliche Überwachung des Gewichts von Schweinen zu finden.

Gelieferter Mehrwert

Unser Team aus Datenwissenschaftlern und Embedded-Ingenieuren hat einen auf Computer Vision basierenden Prototyp für die automatische Gewichtsüberwachung in Schweinemastbetrieben entwickelt und gebaut. Unser Prototyp basiert auf einer Reihe nicht-iterativer neuronaler Netzwerke sowie einem innovativen Bilderkennungsalgorithmus und ermöglicht die visuelle Schätzung des Gewichts eines Tieres.

Die Arbeit an diesem Projekt ist noch nicht abgeschlossen, da wir den Prototyp noch verbessern, um ihn zu einem einfach zu bedienenden Handheld-Gerät zu machen. 

Prozess

Bei diesem Prototyp handelt es sich um ein neuartiges System, was bedeutet, dass wir nicht viele Referenzen auf dem Markt zur Hilfe hatten und das meiste erforderliche Wissen anhand der Trial-and-Error-Methode gewannen.

Die größte Herausforderung, vor der wir standen, war das Fehlen von Trainingsdaten. Deshalb bestand unser erster Schritt darin, ein Erfassungssystem für Hardwaredaten zu bauen, das wir auf dem Bauernhof installieren konnten. Das System umfasste eine normale Waage mit zwei Stereokameras, die über der Waage angebracht waren.

Unsere Vision war, dass die Kameras ein Bild des Schweinerückens aufnehmen, wenn ein Schwein auf die Waage tritt. Dann würde das Gewicht auf der Waage automatisch dem Bild zugeordnet, und wir hätten einen Bild-Gewicht-Datensatz in der Datenbank. Mit genügend Datensätzen dieser Art würden wir einen Algorithmus zur Gewichtserkennung entwickeln können. Der erste Prototyp war jedoch stationär und funktionierte effektiv nur ab einer bestimmten Höhe des Stativs mit den Kameras.

Während der Arbeit an der Hardware stießen wir auf weitere Herausforderungen, wie z. B. dass Schweine auf der Waage schliefen, dass mehrere Schweine die gleichzeitig auf die Waage traten, dass Fäkalien die Waage bedeckten, dass Licht in die Kameras reflektiert wurde und die Bilder verzerrte, usw.

Als die Hardware fertig war, begannen unsere Datenwissenschaftler mit der Arbeit an dem Algorithmus zur Gewichtserkennung. Wir probierten verschiedene Ansätze aus, darunter neuronale Netzwerke und mathematische Modellierungen, und schließlich haben sich unsere Ingenieure für eine Reihe von nicht-iterativen neuronalen Netzwerken in Kombination mit einem benutzerdefinierten Bilderkennungsalgorithmus entschieden. Dieser Ansatz bietet eine Erkennungsgenauigkeit von nahezu 98 % bei manuell bereinigten und vorverarbeiteten Daten.

Unser nächster Schritt war die Herstellung eines zweiten Prototyps, der im Gegensatz zum ersten tragbar sowie praktischer sein sollte. Unsere Ingenieure haben einen Höhensensor und einen Kamerastabilisator hinzugefügt. Beide Prototypen verwenden eine energieintensive Beleuchtung und passive 3D-Kameras für die Verbesserung der Bildqualität.

Die ersten beiden Prototypen reagierten empfindlich auf die Lichtverhältnisse, d. h. unterschiedliche Lichtverhältnisse führten zu unterschiedlichen Wiegeergebnissen. Das LS-Team konnte dieses Problem nicht durch die Bereitstellung von zusätzlichem Licht lösen, da dies das Gewicht des Geräts erhöht hätte und mehr Energie erforderlich gewesen wäre. Also beschlossen wir, die vorhandene Kamera gegen eine passive Stereokamera von Stereolabs auszutauschen, die im RGB-Spektrum arbeitet, sowie gegen eine Stereokamera Intel RealSense D435, um das Infrarotspektrum abzudecken. Auf diese Weise konnte der dritte Prototyp des Geräts auch bei schlechten Lichtverhältnissen effizient arbeiten und dem neuronalen Netzwerk qualitativ hochwertige Bilder liefern. Jetzt muss sich das ML-Modell nicht mehr auf die Farbe oder die Rasse eines Schweins verlassen, um ein Schwein zu erkennen; stattdessen erkennt das neuronale Netzwerk dank der neu hinzugefügten Kamera die Körperform und das Gewicht eines Schweins auch bei schlechten Lichtverhältnissen.

In der laufenden Projektentwicklungsphase des dritten Prototyps konzentrieren wir uns auf die Automatisierung, denn das Gerät soll dem Kunden Zeit und Geld sparen. Unsere Data-Science-Ingenieure arbeiten an einem Filter auf Grundlage eines neuronalen Netzwerks, der automatisch erkennt, ob das Bild eines Schweins für ein präzises Wiegen geeignet ist, und die Fälle aussortiert, in denen sich ein Schwein in der falschen Position befindet. Das LS-Team möchte das Gerät auch für den Einsatz unter Feldbedingungen tauglich machen, indem es den Algorithmus verbessert und ihm beibringt, das Gewicht eines Schweins aus jeder Höhe zu erkennen. Diesmal muss das ML-Modell neu trainiert werden, um mit den von einem tragbaren Gerät erfassten Daten arbeiten zu können.

Der Kunde verlässt sich auf unsere Embedded-Linux-Services und führt die Kooperation mit unserem Team fort. Mit der Entwicklung des dritten tragbaren Prototyps werden die Landwirte in der Lage sein, Schweine noch schneller zu wiegen, als dies mit dem ersten und zweiten Prototyp möglich war. 

Technologien
Python
C++
Embedded Linux
OpenCV
Convolutional Neural Network
TensorFlow
SGTM neural networks library
NVIDIA Jetson
Intel RealSense
Vollständige Case Study im PDF-Format
Slider 1 - Embedded vision prototype for livestock weight monitoring - Lemberg Solutions
Slider 2 - Embedded vision prototype for livestock weight monitoring - Lemberg Solutions
Slider 3 - Embedded vision prototype for livestock weight monitoring - Lemberg Solutions
Slider 4 - Embedded vision prototype for livestock weight monitoring - Lemberg Solutions
Slider 5 - Embedded vision prototype for livestock weight monitoring - Lemberg Solutions

Wie es funktioniert

Embedded vision prototype for livestock weight monitoring - Lemberg Solutions - Download PDF form.png
Download the case study to read it later