WhatsApp testet die Sicherheitsfunktion „Scam Alert“
Meta veröffentlicht in der Beta-Version eine neue WhatsApp-Funktion namens Scam Alert, die Künstliche Intelligenz direkt auf dem Telefon verwendet, um Nachrichten zu identifizieren, die Teil eines Betrugsversuchs sein könnten. Die Technologie ist so konzipiert, dass der Inhalt der Nachrichten das Gerät zur Verarbeitung nicht verlässt.
Online-Betrügereien sind immer raffinierter geworden. Von Nachrichten, die bekannte Institutionen oder Unternehmen imitieren, bis hin zu Techniken der sozialen Manipulation und Versuchen, die mit Hilfe von Künstlicher Intelligenz generiert werden, versuchen Angreifer, die Benutzer zu überzeugen, Informationen preiszugeben, Links zu öffnen oder Zahlungen zu leisten.
In diesem Kontext testet WhatsApp Scam Alert, eine optionale Sicherheitsfunktion, die auf einem lokal auf dem Gerät des Benutzers laufenden Machine-Learning-Modell basiert. Laut technischer Dokumentation von Meta, veröffentlicht am 12. August 2026, ist das Ziel, eine Warnung auszugeben, bevor der Benutzer mit einem möglichen Betrug interagiert, während gleichzeitig die Prinzipien der End-to-End-Verschlüsselung gewahrt bleiben.
Was ist WhatsApp Scam Alert und wie funktioniert es?
Scam Alert ist in dieser Phase eine optionale Funktion, die in einer begrenzten Beta-Version verfügbar ist. Nach der Aktivierung lädt WhatsApp ein Machine-Learning-Modell auf das Telefon herunter, das bestimmte Nachrichten analysiert, die von Personen stammen, die nicht in der Kontaktliste stehen.
Das Modell sucht nicht einfach nach bestimmten Schlüsselwörtern. Meta sagt, dass es sprachliche Signale und die Struktur des Gesprächs verwendet, um eine probabilistische Klassifizierung basierend auf Mustern durchzuführen, die in Gesprächen beobachtet werden, die mit Betrug in Verbindung stehen. Die Trainingsdaten stammen aus zuvor von Benutzern gemeldeten Betrugsunterhaltungen.
Wenn das System schätzt, dass eine hohe Wahrscheinlichkeit besteht, dass die Nachrichten Teil eines Betrugsversuchs sind, kann der Benutzer eine Warnung im Gespräch erhalten. Diese bietet Optionen wie Blockieren und Melden des Absenders oder Fortsetzen des Gesprächs.
Wichtig ist, dass die Warnung keinen absoluten Beweis dafür darstellt, dass die Nachricht betrügerisch ist. Es ist eine Maßnahme zur Unterstützung und Prävention, und der Benutzer behält die Kontrolle über die Entscheidung.
Nachrichten werden nicht an Meta zur Analyse gesendet
Eine der wichtigsten Eigenschaften von Scam Alert ist, dass die Analyse direkt auf dem Telefon erfolgt.
Laut Meta bleiben sowohl das Machine-Learning-Modell als auch die verarbeiteten Nachrichten zur Klassifizierung auf dem Gerät. Der Inhalt der Nachrichten wird nicht automatisch an WhatsApp, Meta oder eine andere Drittpartei zur Betrugserkennung übertragen.
Dieser Aspekt ist wichtig, da WhatsApp End-to-End-Verschlüsselung für persönliche Gespräche verwendet. Eine traditionelle Betrugserkennungslösung könnte die Übertragung von Nachrichten an Server zur Analyse erfordern. Scam Alert versucht, diesen Ansatz zu vermeiden, indem die Verarbeitung auf das Gerät verlagert wird.
Meta definiert ausdrücklich drei Prinzipien für diese Funktion:
- exklusive Verarbeitung auf dem Gerät;
- keine automatische Berichterstattung;
- Benutzerkontrolle.
Die Funktion kann vom Benutzer aktiviert oder deaktiviert werden, und die bloße Erkennung eines möglichen Betrugs führt nicht zur automatischen Übertragung des Gesprächs an das Unternehmen.
Was passiert, wenn Scam Alert einen Fehler macht?
Wie jedes auf Machine Learning basierende Klassifizierungssystem kann Scam Alert auch falsche Ergebnisse produzieren. Eine legitime Nachricht kann einem Muster ähneln, das in betrügerischen Gesprächen vorkommt.
WhatsApp führt daher einen Mechanismus ein, durch den der Benutzer ein Gespräch als vertrauenswürdig markieren kann, wenn die Warnung als falsch erachtet wird. In diesem Fall wird die Warnung entfernt, und Scam Alert sollte das betreffende Gespräch nicht mehr auf die gleiche Weise kennzeichnen.
Es gibt auch eine zusätzliche Option: Wenn der Benutzer entscheidet, dem Gespräch zu vertrauen, kann er die Übertragung der letzten fünf empfangenen Nachrichten an WhatsApp wählen, um die Genauigkeit des Systems zu verbessern. Diese Übertragung ist an die ausdrückliche Aktion des Benutzers gebunden und stellt keine automatische Berichterstattung dar.
Wie werden Daten verwendet, ohne die verschlüsselten Gespräche offenzulegen?
Hier liegt eine der interessanten technischen Komponenten des Projekts. Meta sagt, dass es messen muss, ob Scam Alert korrekt funktioniert: Wie oft eine Warnung erscheint und was die Benutzer nach ihrem Erscheinen tun.
Um Scam Alert zu verbessern, ohne den Inhalt der Gespräche zu sammeln, verwendet Meta zwei Technologien zum Datenschutz. Die erste (Confidential Federated Analytics) ermöglicht die Analyse von Statistiken verteilt und sicher, ohne dass einzelne Nachrichten an das Unternehmen gesendet werden. Die zweite (Differential Privacy) fügt eine zusätzliche Ebene des Datenschutzes hinzu, sodass die statistischen Ergebnisse nicht zur Identifizierung eines bestimmten Benutzers oder dessen Gespräch verwendet werden können.
In der Praxis verfolgt das System nur aggregierte Indikatoren, wie:
- die ungefähre Anzahl der generierten Warnungen;
- die Kategorien von Aktionen, die Benutzer nach der Warnung ergreifen.
Diese Daten sind aggregiert, und die Datenschutzmechanismen sind so konzipiert, dass Informationen über eine einzelne Person nicht aus den übermittelten Statistiken abgeleitet werden können. Meta erklärt, dass die verfügbaren Aggregate für das Unternehmen keine Informationen über einen einzelnen Benutzer enthalten.
Für die Verarbeitung dieser Statistiken verwendet Meta auch geschützte Ausführungsumgebungen (Trusted Execution Environments – TEE) und vertrauliche virtuelle Maschinen. Die Architektur umfasst unter anderem die Überprüfung des ausgeführten Codes und Mechanismen, durch die Forscher bestimmte Komponenten des Systems unabhängig überprüfen können.
Das System verhindert die gezielte Ausrichtung des KI-Modells auf bestimmte Personen
Eines der interessanten Risiken von verteilten KI-Systemen ist die Möglichkeit, dass ein Server einem bestimmten Benutzer eine andere Version des Modells bereitstellt.
Meta behauptet, dass Scam Alert so gestaltet wurde, dass ein spezifisches Modell nicht absichtlich an einen vordefinierten Benutzer geliefert werden kann.
Die Versionen des Modells werden in einem öffentlichen Transparenzregister erfasst, und jede Version ist mit kryptografischen Hashes verknüpft. Das Register ist vom Typ append-only, was bedeutet, dass Einträge hinzugefügt, aber nicht später geändert oder gelöscht werden können.
Darüber hinaus verwenden die Anfragen zum Herunterladen des Modells anonyme Anmeldeinformationen und werden über einen OHTTP-Mechanismus übermittelt, der die IP-Adresse des Benutzers aus der Anfrage entfernt, die vom Server, der das Modell bereitstellt, gesehen wird.
Ein weiteres wichtiges Element ist, dass die Zuweisung des Benutzers zu experimentellen Varianten des Modells lokal auf dem Gerät erfolgt, zufällig, nicht durch eine Entscheidung des Servers für eine identifizierte Person.
Benutzer und Forscher können überprüfen, welches Modell läuft
Scam Alert führt auch eine Komponente der Überprüfbarkeit ein.
Meta plant, die notwendigen Informationen zur Überprüfung der Integrität der KI-Modelle zu veröffentlichen. Auf dem Gerät können Benutzer Transparenzprotokolle aktivieren, die zeigen, welche Nachrichten analysiert wurden, das Ergebnis der Analyse und die verwendete Modellversion.
In WhatsApp können die Informationen über Account > Request Info > Scam Alert Activity abgerufen werden, gemäß der technischen Dokumentation, die von Meta veröffentlicht wurde.
Parallel dazu sind Sicherheitsexperten über das Bug-Bounty-Programm beteiligt. Meta behauptet, ihnen Zugang zu relevanten Komponenten zu gewähren, um zu überprüfen, ob die Nachrichten auf dem Gerät bleiben und ob das Modell tatsächlich den erklärten Zweck der Betrugserkennung erfüllt.
Wann wird Scam Alert für alle WhatsApp-Benutzer verfügbar sein?
Derzeit gibt es noch kein offizielles Veröffentlichungsdatum.
Meta beschreibt Scam Alert als eine Funktion, die sich in einer begrenzten Beta-Version befindet, und erklärt, dass das System getestet und verbessert wird, bevor es in großem Umfang verfügbar ist. Das Unternehmen arbeitet auch mit Forschern aus der Bug-Bounty-Community zusammen, um Sicherheits-, Datenschutz- und Verhaltensprobleme des Modells zu identifizieren.
Daher sollten WhatsApp-Benutzer nicht davon ausgehen, dass die Funktion bereits auf allen Telefonen oder in allen Regionen verfügbar ist.
Warum ist dieser Ansatz wichtig?
Scam Alert zeigt eine interessante Richtung für die Sicherheit von Messaging-Anwendungen: den Einsatz von KI zum Schutz, ohne private Gespräche in eine zentralisierte Datenquelle zur Analyse umzuwandeln.
Laut BleepingComputer hat WhatsApp über 3 Milliarden Benutzer in mehr als 180 Ländern, was bedeutet, dass jeder auf der Plattform implementierte Betrugspräventionsmechanismus erheblichen Einfluss haben könnte.
Gleichzeitig müssen die Benutzer verstehen, dass Scam Alert die persönliche Aufmerksamkeit nicht ersetzt. Ein KI-Modell kann Muster identifizieren und auf verdächtige Gespräche hinweisen, aber es kann nicht garantieren, dass jede betrügerische Nachricht erkannt wird.
Die Grundregel bleibt die gleiche: Übermitteln Sie keine Authentifizierungscodes, Passwörter, Bankdaten oder andere sensible Informationen nur, weil ein Absender vorgibt, eine Bank, ein Unternehmen, ein Freund oder eine Institution zu vertreten.
Fazit
WhatsApp Scam Alert ist ein Versuch, die automatische Betrugserkennung mit dem Schutz der Privatsphäre zu kombinieren. Das Machine-Learning-Modell läuft lokal, die Nachrichten werden nicht automatisch an Meta zur Klassifizierung gesendet, und der Benutzer entscheidet, ob eine Warnung korrekt ist und ob er das Gespräch melden möchte.
Darüber hinaus führt Meta Transparenzmechanismen, öffentliche Register für Modellversionen, kryptografische Überprüfung und Tests durch externe Forscher ein.
Für den normalen Benutzer ist der Vorteil einfach: Wenn die Funktion vollständig veröffentlicht wird und das Modell sich als ausreichend genau erweist, könnte WhatsApp einen zusätzlichen Schutzschild gegen Betrugsnachrichten bieten, ohne dass die Analyse der Gespräche die End-to-End-Verschlüsselung aufgegeben werden muss.
Dennoch muss Scam Alert derzeit als ein System betrachtet werden, das sich in der Testphase befindet, nicht als eine Garantie gegen Betrug. Die effektivste Verteidigung bleibt die Kombination aus Sicherheitstechnologie, Anwendungsaktualisierung und der Fähigkeit des Benutzers, die Signale eines Betrugsversuchs zu erkennen.
Quelle: engineering.fb.com
