Le point visé n'était pas que les petits modèles sont universellement meilleurs, mais que les performances dépendent de la tâche pour laquelle ils sont entraînés.

« Les modèles de pointe sont des généralistes impressionnants », a écrit Armstrong. « Mais vous verrez de plus en plus de modèles spécialisés surpasser sur des tâches plus étroites, qu'ils travaillent au sein d'équipes ou seuls. »

La série Owning Intelligence de Coinbase a décrit comment cette approche a évolué : l'entreprise a d'abord ajouté un agent IA de gestion des risques à son modèle d'apprentissage automatique existant et à son moteur de règles pour Onramp, qui permet aux utilisateurs d'acheter des cryptomonnaies via des applications partenaires, y compris un paiement en mode invité sans compte Coinbase.

Une expérience en ligne a constaté 30 % de transactions frauduleuses en moins et 22 % de valeur frauduleuse en moins dans le groupe utilisant l'examen supplémentaire par l'IA. L'agent examinait les séquences de transactions récentes afin d'identifier des schémas qui pourraient ne pas être visibles à partir d'un seul paiement. Il pouvait bloquer une transaction ayant passé les vérifications initiales, mais ne pouvait pas annuler un blocage effectué en amont.

Coinbase a ensuite testé des versions plus récentes de modèles fermés par rapport à un benchmark fixe de 16140 transactions portant sur 7293 utilisateurs, dont 813 transactions frauduleuses confirmées. Elle a indiqué que les versions plus récentes d'Opus, de Sonnet et de GPT étaient moins performantes que leurs prédécesseurs sur plusieurs mesures de détection de la fraude.

Vous pourriez aussi aimer :

  • Les agents IA jouent un rôle plus important en cybersécurité, selon CertiK
  • Apple corrige une faille d'iOS qui pourrait permettre à des attaquants d'exécuter du code malveillant sur les iPhone
  • Coinbase fait face à une demande de réparation de 25 M$ d'un investisseur en cryptomonnaies

GPT-5.6 a amélioré la précision mais a enregistré un rappel plus faible, ce qui signifie qu'il a identifié une part plus réduite des transactions frauduleuses. Ce résultat a motivé le passage à un modèle à poids ouverts, dont les paramètres pouvaient être adaptés directement plutôt que d'être accessibles uniquement via l'API d'un fournisseur.

Problème signalé concernant l'autonomie de l'IA

L'approche de Coinbase s'inscrit dans un débat plus large sur les agents IA chargés de la lutte contre la criminalité financière et des tâches de sécurité, CertiK ayant averti la semaine dernière que des agents de sécurité plus autonomes pourraient entraîner des risques liés à des résultats erronés et à une supervision humaine réduite. L'entreprise recommande des limites claires aux décisions autonomes et un responsable désigné pour chaque agent.

Toutefois, l'agent de la plateforme d'échange fonctionne dans ces limites : il renvoie un score de risque et dispose de codes applicatifs qui appliquent la politique de décision. Il peut également bloquer une transaction que les vérifications précédentes avaient autorisée, mais il ne peut pas annuler un blocage déjà effectué.