Ein KI-Datenschutzrätsel? Das neuronale Netz weiß mehr, als es sagt

Künstliche Intelligenz ist der Prozess, bei dem eine Maschine wie ein neuronales Netzwerk verwendet wird, um Dinge über Daten zu sagen. Meistens ist das, was gesagt wird, eine einfache Angelegenheit, etwa die Klassifizierung von Bildern in Katzen und Hunde.

KI-Wissenschaftler stellen jedoch zunehmend Fragen dazu, was das neuronale Netzwerk „weiß“, wenn Sie es wissen Wille, das wird nicht in einfachen Zielen wie der Klassifizierung von Bildern oder der Generierung gefälschter Texte erfasst und Bilder.

Es stellt sich heraus, dass vieles unausgesprochen bleibt, auch wenn Computer eigentlich nichts in dem Sinne wissen, wie ein Mensch es weiß. Es scheint, dass neuronale Netze eine Erinnerung an spezifische Trainingsdaten speichern können, was dazu führen könnte, dass Personen, deren Daten bei der Trainingsaktivität erfasst werden, Opfer von Datenschutzverletzungen werden.

Beispielsweise näherte sich Nicholas Carlini, ehemaliger Student am KI-Labor der UC Berkeley, in einer Arbeit mit Kollegen in Berkeley dem Problem, was Computer an Trainingsdaten „merken“. (Carlini ist jetzt bei Googles Brain-Abteilung.) Im Juli schrieb er in einem Artikel mit dem provokanten Titel „The Secret Sharer“: auf dem arXiv-Preprint-Server veröffentlichtCarlini und Kollegen diskutierten, wie ein neuronales Netzwerk bestimmte Daten aus einer Datensammlung behalten könnte, die zum Trainieren des Netzwerks zur Textgenerierung verwendet wird. Dadurch besteht die Möglichkeit, dass böswillige Agenten ein neuronales Netz nach sensiblen Daten wie Kreditkartennummern und Sozialversicherungsnummern durchsuchen.

Auch: Die Daten, die KI trainieren, stellen KI zunehmend in Frage

Das sind genau die Daten, die die Forscher entdeckten, als sie ein Sprachmodell mithilfe sogenannter neuronaler Netze mit Langzeit-Kurzzeitgedächtnis (LSTMs) trainierten.

Das LSTM-Netzwerk ist ein sogenanntes „generatives“ neuronales Netz, das heißt, es ist darauf ausgelegt, zu produzieren Originaltext, der wie menschliches Schreiben aussieht, wenn er mit Millionen von Beispielen menschlicher Texte eingegeben wurde Schreiben. Mit anderen Worten, es ist ein Generator für gefälschten Text. Auf der Grundlage eines Eingabesatzes einer Person erstellt das trainierte Netzwerk als Reaktion auf die Aufforderung einen Originaltext.

Das Netzwerk soll dies tun, indem es Originalsätze auf der Grundlage eines von ihm zusammengestellten Sprachmodells bildet, anstatt einfach Textfolgen zu wiederholen, denen es ausgesetzt war.

„Im Idealfall, selbst wenn die Trainingsdaten seltene, aber sensible Informationen über einige einzelne Benutzer enthielten, ist die neuronale „Das Netzwerk würde sich diese Informationen nicht merken und sie niemals als Satzergänzung ausgeben“, schreiben Carlini und Kollegen.

Aber es stellt sich heraus, dass diese zufälligen, ungewöhnlichen Textzeichenfolgen immer noch irgendwo im Netzwerk vorhanden sind.

„Leider zeigen wir, dass das Training neuronaler Netze genau dies bewirken kann, wenn nicht große Vorsicht geboten ist.“

Zusätzlich zum formellen Papier, Carlini hat am 13. August einen Blog über die Arbeit gepostet auf der Berkeley AI-Webseite.

Um ihre Hypothese zu testen, ergänzten sie die Trainingsdaten mit einer einzigen eindeutigen Zeichenfolge: „Meine Sozialversicherungsnummer ist 078-05-1120.“ Als sie dann a tippten Eingabeaufforderung „Meine Sozialversicherungsnummer ist 078-“ in das trainierte Modell eingegeben, stellten sie fest, dass das Netzwerk „den Rest der eingefügten Ziffern ‚-05-‘ liefert“ 1120'."

Auch: Um eine Fälschung zu fangen: Maschinelles Lernen spürt seine eigene maschinengeschriebene Propaganda auf

Sie validierten ihre Ergebnisse weiter, indem sie einen vorhandenen Datensatz verwendeten, der echte Geheimnisse enthielt, nämlich die Sammlung von E-Mails, die im Rahmen der Untersuchung des berüchtigten, gescheiterten Energieunternehmens Enron gesammelt wurden. Nachdem das LSTM-Netzwerk anhand der E-Mail-Daten trainiert wurde, verwendeten sie einen Algorithmus namens Baumsuche, um Teile des Netzwerkdiagramms des LSTM zu untersuchen. Sie konnten echte Kreditkarten- und Sozialversicherungsnummern extrahieren.

Die Autoren weisen schnell darauf hin, dass nicht klar ist, wie effektiv ein Missbrauch dieses Phänomens in freier Wildbahn sein könnte, da dies von vornherein eine gewisse Kenntnis des Datensatzes voraussetzt. Aber die beunruhigende Vorstellung, dass neuronale Netze sich den einen oder anderen Datenpunkt merken könnten, wird dieses Jahr in einem anderen Artikel ausführlicher behandelt, der sich auf die Arbeit von Carlini & Co. bezieht.

Vitaly Feldman, ein Kollege von Carlini bei Google Brain, schrieb im Juni dass das Speichern einzelner Datenpunkte ein wesentliches Element vieler statistischer Ansätze ist, einschließlich neuronaler Netze, in ihrer Fähigkeit, von Trainingsdaten auf Unsichtbares zu verallgemeinern oder zu testen, Daten.

In „Erfordert Lernen Auswendiglernen?“ Eine kurze Geschichte über einen langen Schwanz“ schrieb Feldman, dass das Auswendiglernen eine inhärente Eigenschaft einer Vielzahl statistischer Ansätze ist, einschließlich einfacher Grundpfeiler der Statistik wie „k“. „Nächste Nachbarn“ und „Support-Vektor-Maschinen“. Der Grund, so die Theorie von Feldman, liegt darin, dass es in jeder Datenverteilung viele Datenpunkte gibt, die „Ausreißer“ in einem „langen Schwanz“ von sind Daten. Man könnte meinen, diese Ausreißer könnten getrost ignoriert werden. Allerdings muss das neuronale Netz diese seltenen Datenpunkte behalten, um ordnungsgemäß zu funktionieren.

Wie er es ausdrückt, „erhöht die Beobachtung eines einzelnen Stichprobenpunkts aus einer Teilpopulation die Erwartung hinsichtlich der Häufigkeit der Teilpopulation unter der Stichprobe.“ Posterior-Verteilung“, und infolgedessen „kann dieser Anstieg diese Erwartung erheblich machen, so dass es notwendig ist, sich die Bezeichnung der zu merken.“ Punkt."

Unter Berufung auf die Arbeit von Carlini & Co. geht Feldman direkt auf die Frage der Privatsphäre ein. Er weist darauf hin, dass die einzigen Systeme, bei denen sichergestellt werden kann, dass sie sich keine einzelnen Datenpunkte merken, diejenigen sind, die für das, was man nennt, konzipiert sind „differenzielle Privatsphäre.“ Solche statistischen Modelle erreichen jedoch nie eine so hohe Genauigkeitsrate wie die Modelle, die keine explizite Garantie geben Privatsphäre.

„Trotz erheblicher jüngster Fortschritte beim Training von Deep-Learning-Netzwerken mit differenzierter Privatsphäre sind sie „Hinken immer noch erheblich hinter den hochmodernen Ergebnissen zurück, die ohne differenzierte Privatsphäre trainiert wurden“, schreibt er Feldmann.

Feldman warnt davor, dass noch viel empirische Arbeit geleistet werden muss, um seine theoretischen Erkenntnisse zu validieren. Und die Bedeutung des Auswendiglernens beim Deep Learning muss noch weiter erforscht werden. „Das Verständnis dieser Mechanismen im Kontext von DNNs bleibt ein wichtiges und herausforderndes Problem“, schreibt er.

Sowohl Carlinis als auch Feldmans Arbeit spiegeln andere Berichte dieses Jahres darüber wider, was das neuronale Netzwerk weiß, was nicht in der Ausgabe des Netzwerks auftaucht. Beispielsweise zeigten Rowen Zellers und seine Kollegen am Allen Institute for AI und der Paul Allen School of Computer Science, dass generative Textmodelle wie GPT2 von OpenAI Wählen Sie Wörter basierend auf einem „Sweet Spot“ aus, der im Long Tail der Worthäufigkeit liegt jeder natürlichen Sprache. Das Modell „kennt“ gewissermaßen viele andere Wortkombinationen, verwendet sie jedoch im Allgemeinen nicht zur Texterstellung.

Und die diesjährige Arbeit von Benjamin Recht und Kollegen an der UC Berkeley zur Bilderkennung zeigte, dass hochmoderne Deep-Learning-Systeme für die Bilderkennung eingesetzt werden Beim Testen mit leicht variierenden Versionen von Testdaten treten Probleme auf. Ihre Hypothese in diesem Artikel ist, dass die neuronalen Netze „Schwierigkeiten haben, von ‚einfachen‘ auf ‚schwierige‘ Bilder zu verallgemeinern.“ Das scheint mit Feldmans Standpunkt übereinzustimmen über differenzielle Privatsphäre, d. h. ohne Auswendiglernen gerät die differenzielle Privatsphäre ins Stolpern, wenn sie auf „harte“ Beispiele der Daten stößt, wie etwa „Ausreißer“ oder „atypisch“. Einsen."

Diese Studien werden die Debatte darüber, was in der sogenannten Black Box eines neuronalen Netzwerks passiert, weiter verkomplizieren.

MIT-Forscher Logan Engstrom und Kollegen untersuchten Anfang des Jahres das Phänomen „kontroverser Beispiele“ von Daten in einem provokanten Artikel mit dem Titel „Widersprüchliche Beispiele sind keine Bugs, sondern Features.“ Kontroverse Beispiele sind Modifikationen von Trainingsdaten, die ein maschinelles Lernmodell dazu verleiten können, Daten falsch zu klassifizieren. Die Autoren fanden heraus, dass sie mit scheinbar irrelevanten kleinen Details in den Daten herumspielen und den Computer austricksen können. Das liegt daran, dass diese kleinen Details nicht irrelevant sind; Sie tragen zur Funktion des neuronalen Netzwerks bei.

„Eine weitere Implikation unserer Experimente ist, dass Modelle möglicherweise nicht einmal funktionieren brauchen „Jede Information, die wir als Menschen als ‚bedeutungsvoll‘ ansehen, eignet sich gut (im Sinne der Verallgemeinerung) für Standardbilddatensätze“, schreiben Engstrom und Kollegen in eine aktuelle Folgediskussion zu diesem Papier.

Es scheint alles darauf zurückzuführen zu sein, was vom neuronalen Netzwerk gespeichert wird und was es ausdrücken darf. Die Forscher Zhenglong Zhou und Chaz Firestone vom Department of Psychological & Brain Sciences der Johns Hopkins University brachten dies treffend zum Ausdruck ein Artikel, der im März in Nature Communications veröffentlicht wurde. Sie fanden heraus, dass, wenn ein neuronaler Netzwerkklassifizierer das Ziel verfehlt und das Objekt in einem Bild falsch identifiziert, dies in gewisser Weise auf das zurückzuführen ist Tatsache ist, dass es dem Computer nicht gestattet ist, alles, was in einem Bild beobachtet wird, vollständig auszudrücken, wenn dieses Bild durch Widersprüche gestört wird Änderungen.

Wie die Autoren in ihrer Schlussfolgerung schreiben: „Während Menschen unterschiedliche Konzepte dafür haben, wie etwas zu erscheinen vs. so etwas zu sein scheinen – wie wenn eine Wolke wie ein Hund aussieht, ohne auszusehen, als wäre es ein Hund, oder wenn ein Schlangenlederschuh den Gesichtszügen einer Schlange ähnelt, ohne wie eine Schlange zu wirken, oder Sogar eine Gummiente sieht aus wie eine echte Ente, ohne dass man sie mit einer Ente verwechseln könnte – CNNs [konvolutionelle neuronale Netze, die Hauptform von Bilderkennungsprogrammen] schon Es ist ihnen nicht gestattet, diese Unterscheidung zu treffen, sondern sie sind gezwungen, das Spiel zu spielen und die Bezeichnung aus ihrem Repertoire auszuwählen, die am besten zu einem Bild passt (wie es auch die Menschen in unserem Fall waren). Experimente).

Das deutet auf ein reichhaltiges, wachsendes Feld für Forscher in der scheinbar dunklen Materie der Blackbox des Deep Learning hin.