Der beabsichtigte Punkt war nicht, dass kleinere Modelle generell besser sind, sondern dass ihre Leistung von der Aufgabe abhängt, für die sie trainiert wurden.

„Die Frontier-Modelle sind beeindruckende Generalisten“, schrieb Armstrong. „Aber zunehmend werden spezialisierte Modelle bei enger gefassten Aufgaben besser abschneiden, entweder im Team oder allein.“

In der Reihe „Owning Intelligence“ beschrieb Coinbase, wie sich dieser Ansatz entwickelte: Zunächst ergänzte das Unternehmen seine bestehende Machine-Learning-Modell- und Regel-Engine für Onramp um einen KI-Risikoagenten. Onramp ermöglicht es Nutzern, über Partneranwendungen Kryptowährungen zu kaufen, auch per Gastbestellung ohne Coinbase-Konto.

Ein Online-Experiment ergab in der Gruppe, bei der die zusätzliche KI-Prüfung eingesetzt wurde, 30 % weniger betrügerische Transaktionen und einen um 22 % geringeren Betrugswert. Der Agent untersuchte jüngste Transaktionsabfolgen, um Muster zu erkennen, die bei einer einzelnen Zahlung möglicherweise nicht auffallen. Er konnte eine Transaktion blockieren, die die ersten Prüfungen bestanden hatte, aber eine vorgelagerte Blockierung nicht rückgängig machen.

Coinbase testete anschließend neuere Versionen proprietärer Modelle anhand eines festen Benchmarks mit 16140 Transaktionen von 7293 Nutzern, darunter 813 bestätigte betrügerische Transaktionen. Das Unternehmen berichtete, dass neuere Versionen von Opus, Sonnet und GPT bei mehreren Betrugserkennungskennzahlen schlechter abschnitten als ihre Vorgänger.

Das könnte Sie auch interessieren:

  • KI-Agenten übernehmen laut CertiK eine größere Rolle in der Cybersicherheit
  • Apple behebt iOS-Schwachstelle, durch die Angreifer schädlichen Code auf iPhones ausführen könnten
  • Coinbase sieht sich mit einer Verlustforderung über 25 Mio. $ von einem Krypto-Investor konfrontiert

GPT-5.6 verbesserte die Präzision, erzielte aber einen geringeren Recall-Wert, das heißt, es erkannte einen kleineren Anteil der betrügerischen Transaktionen. Dieses Ergebnis gab den Ausschlag für den Wechsel zu einem Modell mit offenen Gewichten, dessen Parameter direkt angepasst werden konnten, statt nur über die API eines Anbieters darauf zuzugreifen.

Bedenken wegen der Autonomie von KI geäußert

Coinbases Ansatz fügt sich in eine breitere Diskussion darüber ein, dass KI-Agenten Aufgaben zur Bekämpfung von Finanzkriminalität und im Sicherheitsbereich übernehmen. CertiK warnte letzte Woche, dass autonomere Sicherheitsagenten Risiken durch fehlerhafte Ausgaben und eine geringere menschliche Kontrolle mit sich bringen könnten. Das Unternehmen empfahl klare Grenzen für autonome Entscheidungen und eine namentlich benannte verantwortliche Person für jeden Agenten.

Der Agent der Kryptobörse arbeitet jedoch innerhalb solcher Grenzen: Er gibt einen Risikowert zurück, während Anwendungscode die Entscheidungsrichtlinie umsetzt. Er kann auch eine Transaktion blockieren, die frühere Prüfungen zugelassen haben, aber eine bereits erfolgte Blockierung nicht aufheben.