Die von YOLO (You Only Look Once) gelieferten Informationen, wie z.B. erkannte Objekte und deren Anzahl, lassen sich an mehreren Stellen sinnvoll in einem Sprachdialogsystem ergänzend einsetzen. Die Multimodalität des Dialogmanagement mach die Dialoge kontextbewusster und unterstützt die Interaktion, die auf physischen Umgebung abzielen, wie z.B. in der Küche oder am Essenstisch.
Einsatzszenarien für ein Multimodales Dialogmanagement sind:
- Bestätigung und Rückmeldung im Dialog:
- Szenario: Wenn der Benutzer fragt, ob bestimmte Zutaten auf dem Küchentisch liegen, kann das Sprachdialogsystem auf die von YOLO erkannten Objekte zugreifen und eine Antwort geben.Beispiel:
- Benutzer: „Sind noch Tomaten auf dem Tisch?“
- CulinAIBot: „Ja, ich sehe drei Tomaten auf dem Tisch.“
- Hier wird die Objekterkennung direkt in die Antwortgeneration integriert.
- Szenario: Wenn der Benutzer fragt, ob bestimmte Zutaten auf dem Küchentisch liegen, kann das Sprachdialogsystem auf die von YOLO erkannten Objekte zugreifen und eine Antwort geben.Beispiel:
- Fehlerkorrektur und Nachfragen:
- Szenario: Falls die vom Benutzer erwähnten Objekte nicht erkannt wurden, kann das System Rückfragen stellen oder alternative Aktionen vorschlagen.
- Beispiel:
- Benutzer: „Stelle die Schüssel auf den Tisch.“
- CulinAIBot (mit YOLO-Daten): „Ich konnte keine Schüssel auf dem Tisch erkennen. Möchtest du stattdessen etwas anderes machen?“
- Situationsabhängige Entscheidungen:
- Szenario: Ein Roboter könnte Entscheidungen treffen oder Vorschläge machen, basierend auf den erkannten Objekten und deren Anzahl.
- Beispiel:
- Benutzer: „Bereite ein Omelett zu.“
- CulinAIBot (nach Objekterkennung mit YOLO): „Ich sehe nur zwei Eier. Möchtest du ein kleineres Omelett machen oder soll ich weitere Zutaten vorschlagen?“
- Proaktive Benachrichtigungen:
- Szenario: CulinAIBot könnte den Benutzer aktiv informieren, wenn relevante Objekte in der Umgebung erkannt werden.
- Beispiel: CulinAIBot: „Ich habe erkannt, dass die Tomaten und Zwiebeln auf dem Schneidebrett liegen. Soll ich mit dem Schneiden beginnen?“
- Anpassung an den Kontext:
- Szenario: Die Kontextverarbeitung im Dialogmanagementsystem kann mit den YOLO-Daten verknüpft werden, um dynamische und kontextabhängige Interaktionen zu ermöglichen.
- Beispiel: Wenn der Benutzer bereits einmal den Befehl „Schneide die Tomaten“ gegeben hat, kann CulinAIBot beim nächsten Befehl wie „Schneide die Zwiebeln“ den aktuellen Stand (die schon erkannten Objekte) berücksichtigen und die Aufgaben entsprechend steuern.