1.1 Das Ziel des Projekts CulinAIbot

Ziel des Projektes CulinAIBot ist: „Das Projekt CulinAIBot entwickelt einen Roboter, der als Koch in Haushaltsküchen fungiert. Der Roboter nutzt KI zur Erkennung von Lebensmitteln im Kühlschrank. Aus den erkannten möglichen Zutaten schlägt er, unter Berücksichtigung von Vorlieben der Hausbewohner, mit KI ein Rezept vor. Der Roboter kommuniziert mittels natürlicher Sprachverarbeitung mit den Hausbewohnern, nimmt deren Wünsche entgegen und bietet Rezeptvorschläge an. KI steuert den Roboter bei der Zubereitung des Gerichts, beim Umgang mit Küchenutensilien und beim Servieren. CulinAIBot bietet Komfort und Zeitersparnis indem der Roboter die Essenszubereitung automatisiert und das Essen serviert. Eine mögliche Zielgruppe sind Personen mit körperlichen Einschränkungen oder wenig Zeit.“

Mit meinem Projekt bin ich damit in den folgenden Robotik Aspekten aktiv:

• Lernen:
  • Erstellen von KI-Modellen, um Lebensmittel zu erkennen

• Sensorik und Video:
  • Erkennen der verfügbaren Lebensmittel auf der Arbeitsfläche oder im Kühlschrank

• Soziale Interaktion:
  • Spracherkennung für zusätzliche Informationen des Benutzers, z.B. „ich wünsche, dass das Rezept Glutenfrei ist.“
  • Sprachausgabe, um dem Nutzer das Rezept und deren Zubereitung vorzulesen.

• Autonomes Arbeiten:
  • hierfür habe ich einen Prototypen mit Roboterarm und AGV („autonomous guided vehicle“) gebaut.

Dass die Nutzung von Humanoiden Robotern im Haushalt im Trend ist, zeigt das in der letzten Woche veröffentliche Video zu Neo Beta des Unternehmen 1X Technologies.

Vorgehen:

Um über den BWKI in Zukunft Schritt-für-Schritt weitere Aspekte der KI vertiefen zu können, habe ich im ersten Schritt eine modulare Architektur gewählt, die es ermöglicht Teile (Hardware z.B. performantere GPUs, Software z.B. für den erweiterten Dialog, oder KI-Modelle z.B. Re-inforcement Learning zum Lernen der Nutzerwünsche) erweitern oder auszutauschen.

Danach habe ich mich auf die Sammlung der Bilddatensätze, das Training der KI-Modelle und die Programmierung der Software für Bild- und Spracherkennung konzentriert. Die KI-Modelle habe ich mittels eins klassischen Data Science Prozess aus Lebensmittelbildern trainiert. Die Software nutzt diese Modelle um in den von der Kamera aufgenommen Bildern die Lebensmittel zu erkennen. Die so gewonnenen Informationen zu den verfügbaren Lebensmitteln werden mit den über die Spracheingabe erkannten Informationen an das OpenAI LLM zur Erstellung eines passenden Rezepts und einer Anweisung zur Zubereitung übergeben.

Damit ich messen konnte, ob ich mit meinen Projektezielen (Objectives) erreiche, haben ich die OKR-Methode genutzt, mit der ich auch schon bei anderen Projekten gute Erfahrung gesammelt habe. (Johanning, 2019).

Folgende Teilziele und Ergebnisse habe ich mir vorgenommen und erreicht.

Teilziele = Objectives: „WARUM machen ich das?“ Welchen Nutzen/Mehrwert will ich erreichen?	Teilergebnisse = Key Results: „WIE erreichen ich das Ziel?“ Messbare Zahlen, Daten, Fakten
O1: Die modulare Architektur incl. der relevanten Hardware- und Software-Komponenten und KI-Modelle sind für „CulinAIBot“ erstellt.	O1KR1: Durch Literaturrecherche im Internet habe ich Informationen für die Entwicklung eines autonomen Kochroboters zusammengestellt.   O1KR2: Ableitung der generellen Anforderungen an Hardware, Software und KI, Prozesse, und Daten O1KR3: Um für „CulinAIBot“ die passende Hardware, Software und KI-Funktionen auswählen zu können, habe ich einen Vergleich erstellt. O1KR4: Kauf der Hardware, Software und KI-Funktionen um „CulinAIBot“ in aufeinander aufbauenden Stufen entwickeln zu können.
O2: Die Schritte eines passenden Data Science Prozess, für das Erstellen der KI-Modelle, zum Erkennen von Lebensmittel sind beschrieben und programmiert.	O2KR1: Ein Bot zum Erstellen der Datensätze der Lebensmittel ist programmiert.   O2KR2: Ein Programm zum Aufbereiten der Daten und sonstige Vorbereitung ist ausgewählt.   O2KR3: Die Daten sind für die Annotation vorbereitet.   O2KR4: Für die verschiedenen Datensätze sind passende KI-Methoden identifiziert und passende Programme zum Training und Testen programmiert.   O2KR5: Die KI-Modelle zum Erkennen der sind trainiert und getestet.
O3: Das KI-Modell für die Spracherkennung ist ausgewählt und das Programm zur Nutzung ist geschrieben	O3KR1: Durch Literaturrecherche im Internet habe ich KI-Modelle zur lokalen Spracherkennung ermittelt, verglichen und ein KI-Modell ausgewählt.   O3KR2: Ein Programm zur Nutzung des KI Modell ist geschrieben.
O4: Ein Programm zur Erstellung eines Rezepts und der Anweisungen zur Zubereitung ist programmiert	O3KR1: Die so gewonnenen Informationen zu den verfügbaren Lebensmitteln werden mit den über die Spracheingabe erkannten Informationen an das OpenAI LLM zur Erstellung eines passenden Rezepts und einer Anweisung zur Zubereitung übergeben und dem Nutzer präsentiert.