Die Erfindung betrifft ein System und ein Verfahren zum Bedienen- und Beobachten insbesondere eines Automatisierungssystems und/oder einer Produktions- und/oder Werkzeugmaschine.

Ein derartiges System und Verfahren kommt beispielsweise im Bereich der Automatisierungstechnik, bei.Produktions- und Werkzeugmaschinen, bei Diagnose-/Serviceunterstützungssystemen sowie für komplexe Komponenten, Geräte und Systeme, wie beispielsweise Fahrzeuge und industrielle Maschinen und Anlagen zum Einsatz.

Ein Beispiel für ein derartiges System wird in der Patentschrift US-A-5668573 offenbart.

Der Erfindung liegt die Aufgabe zugrunde, ein System und ein Verfahren zum Bedienen- und Beobachten insbesondere eines Automatisierungssystems und/oder einer Produktions- und/oder Werkzeugmaschine anzugeben, das eine Freihandbedienung und die Möglichkeit für eine "Navigation" im Umfeld von Augmented-Reality-Anwendungen auch bei komplexen technischen Anlagen ermöglicht.

Diese Aufgabe wird durch ein System sowie durch ein Verfahren mit den in den Ansprüchen 1 bzw. 6 angegebenen Merkmalen gelöst.

Dabei wird mit Hilfe der Erfassungsmittel, beispielsweise einer Kamera das Blickfeld des Anwenders, das auf ein Anzeigemittel, beispielsweise einen Monitor gerichtet ist, erfasst. Gleichzeitig wird über die Spracherkennungsmittel die vom Anwender abgegebene Sprache ausgewertet. Die Erfassungsmittel und die Spracherkennungsmittel bilden dabei gemeinsam ein blickfokussiertes Spracherkennungssystem, wobei in Abhängigkeit der erkannten Sprachinformation und in Abhängigkeit des erfassten Blickfeldes auf den Anzeigemittel bestimmte vorgebbare Informationsdaten dargestellt werden. Wird beispielsweise mit Hilfe einer an den Anzeigemittel, beispielsweise an dem Bildschirm eingebauten Kamera, festgestellt, dass der Anwender gerade in den Bildschirm schaut und hierdurch einen entsprechenden Prozess beobachten will, so wird über die Kamera als Erfassungsmittel die Spracherkennung des Systems aktiviert, wodurch eine zielgerichtete Auswertung der Spracheingabe erfolgt. Hierdurch ergibt sich somit eine neue Interaktionsform für die Prozessvisualisierung. Richtet der Anwender seinen Blick auf ein weiteres Anzeigemittel oder auf ein anderes Blickfeld des Anzeigemittels, so kann mit Hilfe der Steuerungsmittel eine dem diesen Blickfeld zugeordnete Information nach erfolgreicher Spracherkennung auf den Anzeigemittel dargestellt werden. Hierdurch kann der Anwender freihändig per Sprache einen gewünschten Prozess oder eine gewünschte Produktions- und/oder Werkzeugmaschine intuitiv durch Änderung seines Blickfelds in Kombination mit Sprachsteuerung bedienen und beobachten. Das System weist dabei Mittel zur Generierung eines visuellen Feedbacksignals als Reaktion auf den Bearbeitungsstatus bezüglich erkannter Sprachinformation auf, wodurch eine sichere Information über den Verarbeitungszustand des Systems bezüglich eines Sprachsignals für den Anwender erzielt wird.

Eine vom Anwender leicht erkennbare Ausgestaltung für das Feedbacksignal besteht darin, dass das visuelle Feedbacksignal als im Bereich des detektierten Blickfeldes des Anwenders eingeblendetes Softwareobjekt ausgebildet ist.

Eine weitere Möglichkeit für ein deutlich auffälliges Feedback zur Unterstützung der Sprachinformation besteht darin, dass das visuelle Feedbacksignal als den jeweiligen Bearbeitungsstatus bezüglich erkannter Sprachinformation kennzeichnendes Farbsignal ausgebildet ist.

Eine unbeabsichtigte Erkennung und Interpretation einer nicht für das System bestimmten Sprachinformation bzw. eine gezielte Aktivierung der Spracherkennung kann dadurch erzielt werden, dass die Steuerungsmittel das System so ansteuern, dass die Spracherkennungsmittel erst dann aktiviert werden, wenn von den Erfassungsmitteln erfaßt wird, dass das Blickfeld des Anwenders ein bestimmtes Anzeigemittel und/oder zumindest vorgebbare Bereiche des Anzeigemittels betrifft.

Eine vorteilhafte Ausführungsform der Erfassungsmittel besteht darin, dass die Erfassungsmittel zur Erfassung des Blickfeldes des Anwenders eine Kamera aufweisen.

Eine interaktive Sprachkommunikation mit dem System kann dadurch sichergestellt werden, dass das System akustische Wiedergabemittel aufweist, die zur akustischen Wiedergabe von akustischen Informationsdaten als Reaktion auf vom Anwender gezielt über die Spracherkennungsmittel abgegebene Sprachinformation an die akustischen Wiedergabemittel übermittelt wird.

Eine zielgerichtete Verarbeitung der Sprache wird dadurch weiter verbessert, dass das System weitere Anzeigemittel aufweist, die zur Signalisierung des Ortes von mit einer erkannten Sprachinformation verknüpften Informationsdaten.

Im folgenden wird die Erfindung anhand der in den Figuren dargestellten Ausführungsbeispiele näher beschrieben und erläutert.

Es zeigen:

FIG 1

ein Blockschaltbild eines Ausführungsbeispiels eines sprachgesteuerten Systems zum Bedienen- und Beobachten eines Automatisierungssystems oder einer Werkzeugmaschine mit einem visuellen Feedbacksignal in Form eines Softwareobjekts und

FIG 2

ein Blockschaltbild eines Ausführungsbeispiels eines sprachgesteuerten Systems zum Bedienen- und Beobachten eines Automatisierungssystems oder einer Werkzeugmaschine mit einem visuellen Feedbacksignal in Form einer optischen Einrichtung.

FIG 1 zeigt ein blickfokussiertes Sprachverarbeitungssystem für ein Bedien- und Beobachtungssystem 100, beispielsweise eines Automatisierungssystems. Das Bedien- und Beobachtungssystem enthält ein Prozessvisualisierungssystem 102 das über eine beispielhaft dargestellte Bildschirmmaske 103 eine Steuerung des Prozesses eines Automatisierungssystems ermöglicht. Das Automatisierungssystem ist in FIG 2 aus Gründen der Übersichtlichkeit nicht näher dargestellt. Das Bedien- und Beobachtungssystem umfasst darüber hinaus eine blickfokussierte Spracherkennungseinheit 101, der Eingangssignale 104, 105 zugeführt werden und die Ausgangssignale 106, 107 abgibt. Das Eingangssignal 104 der blickfokussierten Spracherkennungseinheit wird von einer Kamera 5 als Erfassungsmittel zur Erfassung des Blickfokusses 9 eines Anwenders 1 ermittelt. Das Eingangssignal 105 beruht auf einen Sprachsignal 8 des Anwenders, welches beispielsweise über ein Mikrofon 4 eines Head sets 3 des Anwenders 1 erfasst wird. Das blickfokussierte Spracherkennungssystem 101 liefert ein erstes Ausgangssignal 106, welches dem Blickfokus 9 des Anwenders repräsentiert sowie ein zweites Ausgangssignal 107, welches auf dem Sprachsignal 8 des Anwenders basiert. In Abhängigkeit der Ausgangssignale 106, 107 der blickfokussierten Spracherkennungseinheit 1 wird im Prozessvisualisierungssystem 102 ein Ausgangssignal 108 erzeugt, welches in der Bildschirmmaske 103 als dem Blickfokus 9 zugeordneten Bildschirmausschnitt zugeordnetes Softwareobjekt in die Bildschirmmaske 103 eingeblendet wird.

Dem Ausführungsbeispiel von FIG 1 liegt dabei beispielsweise folgendes Szenario zugrunde: Der Anwender 1 beobachtet mit Hilfe des Prozessvisualisierungssystems 102 eine Automatisierungsanlage. Der Blickfokus 9 des Anwenders 1 wird dabei gleichzeitig von dem blickfokussierten Spracherkennungssystem 101 verfolgt. Der Anwender 1 ruft durch Sprache, d.h. durch Abgabe eines Sprachsignals 8 ein gewünschtes Objekt, beispielsweise einen bestimmten Prozesswert, der im Blickfokus 9 enthalten ist auf, oder der Anwender möchten einen im Blickfokus 9 enthaltenen Prozesswert ändern. In diesen Fällen ruft der Anwender 1 das Objekt der Sprache auf oder er nennt den neuen Prozesswert. Unmittelbar an seinen Blickfokus 9 wird ihm daraufhin ein visuelles Objekt 109 eingeblendet, in dem die Informationen über die Verarbeitung seines Sprachkommandos enthalten sind. Bei erfolgreicher Ausführung der Ansteuerungen mit Hilfe des Blickfokusses Spracherkennungssystem 101 führt das Prozessvisualisierungssystem 102 und damit die mit dem Prozessvisualisierungssystem 102 und dem Bedien- und Beobachtungssystem 100 verbundene Anlage die entsprechenden Kommandos und Aktionen aus. Durch den Einsatz des blickfokussierten Spracherkennungssystem gekoppelt mit einen visuellen Feedback-Signal ergibt sich eine leichtere, intuitivere Mensch-Maschine-Interaktion. Der Anwender 1 erhält unmittelbar eine Rückmeldung in Form des kurzzeitigen visuellen Feedback-Signals 109 und ist darüber informiert ob seine Sprachkommandos 105,107 vom System 100 registriert, verstanden und ausgeführt wurden.

FIG 2 zeigt ein weiteres Ausführungsbeispiel eines Bedienund Beobachtungssystem mit Spracherkennung und einem visuellen Feedback-Signal zur Unterstützung von Sprachinteraktion in Prozessvisualisierung und Produktions- sowie Werkzeugmaschinen. Das System besteht aus einem Sprachinteraktionssystem 200, das als Eingangssignal ein Sprachsignal 8 eines Anwenders 1 auswertet. Das Sprachinteraktionssystem 200 liefert in Abhängigkeit des Sprachsignals 8 ein erstes Ausgangssignal 203 sowie ein zweites Ausgangssignal 204. Das erste Ausgangssignal 203 wird einem Anzeigemittel 205 zugeführt, das verschiedene Betriebszustände beispielsweise in Form verschiedener Farbanzeigen ermöglicht. Das zweite Ausgangssignal 204 des Sprachinteraktionssystems 200 wird einem Prozessvisualisierungssystem einer Anlage 206 oder einer Werkzeugmaschine zugeführt. Die Visualisierung und die Bedien- und Beobachtung des der Anlage 206 bzw. der Werkzeugmaschine erfolgt über einen Bedienterminal 202.

Dem in FIG 2 dargestellten System liegt beispielsweise folgendes Szenario zugrunde. Der Anwender, beispielsweise ein Bediener einer Werkzeugmaschine oder einer Anlage 206 beobachtet durch das Prozessvisualisierungssystem 201 über den Bedienterminal 202 die Anlage 206. Um eine Aktion der Anlage/der Maschine 206 auszuführen, ruft der Anwender 1 bei Sprache entsprechende Kommandos in Form von Sprachsignalen 8. Durch die separat angeordnete und vorteilhafter Weise auffällig platzierte Anzeigevorrichtung, beispielsweise in Form einer Lampe wird der Anwender 1 informiert, wie der Zustand der Verarbeitung seines Sprachkommandos ist. So kann beispielsweise ein grünes Signal der Lampe 205 anzeigen, dass ein Kommando erkannt und eine gewünschte Aktion ausgeführt ist. Leuchtet die Signallampe 205 rot, so wird hierdurch signalisiert, dass ein Kommando nicht erkannt wurde. Eine orange Anzeige der Signallampe 205 kann beispielsweise kennzeichnen, dass ein Kommando erkannt, eine dem Kommando zugrundeliegende Aktion jedoch nicht ausgeführt wurde. Die in FIG 3 gezeigte Methode zur Visualisierung eines Feedbacks auf Sprachkommandos für die Prozessbeobachtung eignet sich vor allem im Feld für die Steuerung von Produktions- und Werkzeugmaschinen, da der Anwender, d.h. der Bediener auch über größere Entfernungen eine klare und eindeutige Signalisierung des Verarbeitungszustands seiner Sprachkommandos 8 hat.

Ein möglicher Einsatz eines deutlich auffälligen visuellen Feedbacks zur Unterstützung von Sprachinteraktion in Prozessvisualisierung und Produktions- sowie Werkzeugmaschinen versteht sich insbesondere im speziellen Kontext der Anwendungsfelder "Bedienen und Beobachten von Prozessautomatisierungssystemen" sowie "Produktions- und Werkzeugmaschinen". Der Einsatz von Sprachverarbeitung in der Prozessvisualisierung von technischen Anlagen und Steuerung von Produktions- und Werkzeugmaschinen ermöglicht leichtere, intuitivere Mensch-Maschine-Interaktion.

Da die sprachliche Mensch-Maschine-Interaktion durchaus der natürlichen zwischenmenschlichen Kommunikation ähnelt, wird meistens schnellere Reaktion vom System erwartet, als mit herkömmlichen Interaktionen (Maus, Tasten) der Fall ist. Der Benutzer benötigt unmittelbar eine Rückmeldung, ob seine Sprachkommandos vom System registriert, verstanden und ausgeführt wurden.

Durch ein visuelles Feedback über den Zustand der Verarbeitung der Sprachkommandos kann dies erreicht werden. Mit herkömmlichen Methoden werden diese Art von Feedbacks jedoch immer an einem festen Platz am Bedienterminal plaziert, so daß der Bediener bzw. in seiner eigentlichen Aufgabe eingeschränkte Aufmerksamkeit abgelenkt wird, wenn er danach sucht.

Um die Aufmerksamkeit des Bedieners nicht abzulenken, wird ein deutlich auffälliges visuelles Feedback an ihn gegeben. Bisherige Lösungen sahen lediglich fest plazierte SWtechnisches visuelles Objekt am Bedienterminal vor.

Bei der erfindungsgemäßen Lösung erfolgt ähnlich dem Ablauf zwischenmenschlicher Kommunikation, bei dem ein Mensch immer eine Reaktion von dem Menschen erwartet, den er gerade anspricht, eine Reaktion des Systems. Im Fall eines Dialogs mit dem Computer sollte das Feedback demnach immer dort sein, wo der Benutzer seinen Blick richtet, z.B. an einem Bedienobjekt dargestellt am Terminal. Durch einen "Eye Tracker" kann der Blick des Benutzers am Bildschirm festgestellt werden, genau dort wird entsprechendes Feedback eingeblendet. Diese Methode ist gut geeignet für die Leitebene, wo der Bediener nah an den Terminals den Prozess beobachtet.

Eine andere Methode ist eine im Blickwinkel deutlich plazierte, externe (nicht im Bildschirm) optische Einrichtung für den Zweck des Feedbacks. So kann ein Lampe durch Senden verschiedener Farbsignale den Benutzer informieren, ob seine Kommandos erkannt, verarbeitet und ausgeführt wurden. Diese Methode ist vor allen für Prozessbeobachtung im Feld und für die Steuerung von Produktions- und Werkzeugmaschinen geeignet.

Insgesamt ergibt sich ein deutlich auffälliges visuelles Feedback über den Verarbeitungszustand des Sprachkommandos um die Aufmerksamkeit des Benutzers nicht abzulenken.

Die grundlegende Idee ist in folgenden Szenarien anwendbar: Szenario A (visuelles Feedback genau dort, wo der Bediener seine Aufmerksamkeit richtet): Der Bediener beobachtet durch ein Prozessvisualisierungssystem die Anlage. Sein Blickfokus wird gleichzeitig von einem blickfokussierten Spracherkennungssystem verfolgt.

Um die Details eines bestimmten Objektes anzuschauen, ruft er per Sprache das Objekt auf. Unmittelbar an seinem Blickfokus wird ihm sofort ein visuelles Objekt eingeblendet, in dem die Informationen über die Verarbeitung seiner Sprachkommandos enthalten sind. Das Prozessvisualisierungssystem / die Maschine führt entsprechende Aktionen aus.

Szenario B (visuelles Feedback durch extern plazierte optische Einrichtung): Der Bediener beobachtet durch ein Prozessvisualisierungssystem die Anlage. Um eine Aktion der Maschine auszuführen, ruft er per Sprache entsprechendes Kommando. Durch eine auffällig platzierte Lampe wird er informiert, wie der Zustand der Verarbeitung seiner Sprachkommandos ist, ob entsprechende Aktionen ausgeführt wird. Das Prozessvisualisierungssystem / die Maschine führt entsprechende Aktionen aus.

Zusammenfassend betrifft die Erfindung somit ein System und ein Verfahren zum Bedienen- und Beobachten insbesondere eines Automatisierungssystems und/oder einer Produktions- und/oder Werkzeugmaschine, bei dem das Blickfeld 9 eines Anwenders 1 auf mindestens einem Anzeigemittel 2 erfaßt wird, bei dem eine Sprachinformation 8 des Anwenders 1 zumindest zeitweise ausgewertet wird und bei dem als Reaktion auf den Bearbeitungsstatus bezüglich erkannter Sprachinformation 8 ein visuelles Feedbacksignal generiert wird. Hierdurch ergibt sich eine verbesserte Sprachinteraktion insbesondere im Umfeld von Augmented-Reality-Anwendungen auch bei komplexen technischen Anlagen.