Kann Künstliche Intelligenz Texte besser lesen und verstehen als wir? Wir erinnern uns an unsere Schulzeit: der Lehrer lässt einen Text lesen und stellt den Schüler*innen danach Verständnisfragen. Kann die Antworten demnächst z. B. eine App mit KI übernehmen?!
Es dreht sich in diesem Artikel also um Textverständnis. Los geht´s.
Der Test mit dem Text
Nehmen wir als Beispiel einen Test, der von vielen Forschungsteams von großen Unternehmen wie Microsoft, der Alibaba Group oder Google genutzt wird. Es handelt sich um einen standardisierten Frage-Antwort-Test der Stanford University, der folgendermaßen funktioniert.
Es gibt verschiedene Texte, die zum Teil aus Wikipedia und anderen Quellen stammen. Die Maschine bekommt einen Text vorgelegt wie den folgenden:
The University of Chicago (UChicago, U of C, or Chicago) is a private research university in Chicago, founded in 1890.
Beyond the arts and sciences, Chicago is also well known for its professional schools, which include the Pritzker School of Medicine, the Booth School of Business, the Law School, the School of Social Service Administration, the Harris School of Public Policy, the Divinity School and the Graham School of Continuing Liberal and Professional Studies.
The university enrolles approximatly 6,600 undergraduate students, 9,900 graduate students, and 600 non-degree students.
Im obigen Beispiel ist es ein kleiner Text über die Universität Chicago.
Dazu wird eine Frage gestellt: “What kind of university ist the university of chicago?” Also: Was für eine Art von Uni ist die Hochschule in Chicago?
Die richtige Antwort lautet: es ist eine private Forschungsuniversität (private research university).
Textverständnis durch Mustererkennung
Im Prinzip sind Texte nichts anderes als Muster. Wenn wir im letzten Beitrag über Bilder gesprochen haben und noch über Sprache und Audioaufzeichnungen sprechen werden, dann sind das komplizierte Muster. Auch ein Text ist im Prinzip ein Muster, das auf grammatikalischen Grundlagen beruht: das Subjekt im Satz steht vorne, dann kommt meistens ein Verb und am Schluss kommt noch das Objekt, auf das es sich bezieht.
Das ist nur ein sehr einfaches Beispiel und Maschinen sind in der Lage diese Muster von selbst zu lernen. KI kann anhand des Erlernten dann solche Fragen wie oben beantworten.
Ist KI besser als der Mensch?
Eine Behauptung der Alibaba Group ist, dass Maschinen Fragen zu Texten besser beantworten können als Menschen. Diese Aussage ist mit viel Vorsicht zu genießen. Sie ist an für sich nicht wahr.
Wenn man solche Tests mit Texten hat, sind Maschinen in der Lage Fehler zu vermeiden, nämlich Flüchtigkeitsfehler wie Menschen sie machen würden.
Maschinen sind auch in der Lage bestimmte Muster als richtig und falsch zu erkennen. Zum Beispiel haben wir im obigen Beispiel den Satz: “Chicago is also well known for its professional schools”, also “Chicago ist auch sehr bekannt für seine Berufsschulen.” Das ist keine richtige Antwort auf unsere Frage nach der Art der Universität. Die KI erkennt schon, dass dies die falsche Stelle im Text ist.
Wann versagt KI?
Allerdings ist es ein textuelles Muster, nach dem das System arbeitet. Die KI versteht die Inhalte nicht und die Antwort muss direkt im Text stehen und zwar explizit. Ansonsten kann das KI-System die Antwort nicht ableiten.
An dieser Stelle sind die Maschinen uns Menschen noch weit unterlegen, weil Menschen aus Texten Dinge lesen können, die gar nicht direkt drin stehen. Entweder sie stehen zwischen den Zeilen oder sie sind durch logische Schritte abzuleiten. Dafür zeige ich Ihnen ein Beispiel:
Chicago liegt im Bundesstaat Illinois.
Alle Universitäten in Illinois sind privat.
Illinois liegt in den USA.
An allen Universitäten in den USA wird geforscht.
Stellen sie sich vor, es gibt einen Text, in dem diese Sätze stehen – irgendwo verteilt auf 200 bis 300 Seiten. Daraus würden Sie als Mensch folgendes ableiten können: die Uni Chicago ist eine private Forschungsuniversität. Aus all diesen Fakten folgert nämlich diese Aussage.
Eine Maschine könnte das nicht, weil eine Maschine die logischen Zusammenhänge zwischen diesen Sätzen nicht versteht. Die KI versteht nicht wirklich, was der Text bedeutet. Das System arbeitet rein statistisch auf textuellen Mustern.
Eine weitere Schwäche von Maschinen in diesem Bereich ist zu verstehen, was sie nicht verstehen. Wir nehmen erneut den Text aus dem ersten Frage-Antwort-Spiel mit folgender Frage: “The city of Pritzker is home to which University?”, also auf deutsch übersetzt: “Welche Universität gibt es in der Stadt Pritzker?”
Die richtige Antwort wäre: “Ich weiß es nicht. Das steht nicht im Text.” Es wird nämlich nur die Pritzker School of Medicine erwähnt.
Die Antwort, die das System aber liefert, ist: “Es ist die Universität Chicago.”
Das heißt, Maschinen sind sehr schlecht darin zu beurteilen, ob sie richtig liegen oder vollkommen falsch. Ein Mensch hat ein Gefühl dafür und würde sagen: “Das weiß ich jetzt nicht.” Maschinen liefern einfach die beste Antwort, die sie liefern können und sind sich nicht bewusst, dass die Antwort totaler Unsinn ist.
Auch dieser vierte Beitrag stammt von Florian Werner-Jäger. Wo Ihnen KI in Ihrem Berufsalltag (unbewusst) begegnet und wie Sie – auch als Nicht-ITler – KI nutzen können, erfahren Sie in seinem KI-Seminar.
Im nächsten Blogartikel sehen wir uns an, wie KI eine bestimmte Person identifizieren kann – und zwar nicht mittels Spracherkennung, Gesichtserkennung oder Fingerabdruck, sondern nur an der Art und Weise, wie diese Person sich bewegt.
Lassen Sie gleich ein Abo da für diesen Blog (auf der Startseite) und Sie werden automatisch über die nächsten Beiträge informiert.
Rückblick
Im ersten Teil haben wir wichtige Aspekte von KI kennengelernt: Neuronales Netz, Regression, Klassifikation.
Der zweite Teil beschreibt, wie Maschinen lernen, damit Künstliche Intelligenz entsteht, und warum KI mehr mit der emotionalen Intelligenz zu tun hat als mit dem Intelligenzquotienten.
Im dritten Teil sahen wir, wie Künstliche Intelligenz vorhersagen kann, welche Partei ich wähle mithilfe von Bilderkennung.
One comment