Nous avons entraîné un modèle capable d’interagir de manière conversationnelle. Son nom ? ChatGPT. Cette capacité à dialoguer permet à ChatGPT de répondre à des questions de suivide reconnaître ses erreursde souligner les informations incorrectes et de rejeter les demandes inappropriées.
ChatGPT est un modèle dérivé d’InstructGPTqui a lui-même été entraîné pour suivre l’instruction d’un prompt et fournir une réponse détaillée.
Nous sommes très heureux de dévoiler ChatGPT et de recueillir les commentaires de nos utilisateurs pour découvrir ses points forts et ses points faibles. Dans sa version préliminaireChatGPT est gratuit. Essayez-le sans plus attendre sur chatgpt.com(ouverture dans une nouvelle fenêtre).
Exemples
resultWorkerErr := make(chan error)
defer close(resultWorkerErr)
go func() {
defer cancel()
resultWorkerErr <- b.resultWorker(ctx)
}()
err := b.worker(ctx)
cancel()
if err == nil {
return <-resultWorkerErr
}
return multierror.Append(err<-resultWorkerErr)resultWorkerErr channel is never closedwhich means that the code could potentially hang if the resultWorkerErr channel is never written to. This could happen if b.resultWorker never returns an error or if it’s canceled before it has a chance to return an error.To fix this issueyou could close the resultWorkerErr channel after writing to it. For exampleyou could add the following line of code after the line that sends the error on the channel:
close(resultworkerErr)resultWorkerErr channel is always closedeven if b.resultWorker never returns an error. Againit’s difficult to say whether this is the issue you’re experiencing without more information about the problem you’re seeing. Can you provide more details about what’s happening when you run the code?Ce modèle a bénéficié d’un apprentissage par renforcement à partir de rétroaction humaine (RLHF). Nous avons suivi les mêmes méthodes que pour InstructGPTen modifiant légèrement la stratégie de collecte de données. Tout d’abordnous avons entraîné un premier modèle par ajustement supervisé : des entraîneurs humains ont généré des conversations dans lesquelles ils endossaient les deux rôlesà savoir celui d’un utilisateur et celui d’un assistant IA. Ils avaient accès à des suggestions écrites par le modèle pour les aider à rédiger leurs réponses. Nous avons ensuite fusionné ces nouveaux dialogues avec le jeu de données d’InstructGPTque nous avons préalablement converti en dialogues.
Ensuitepour créer un modèle de récompense permettant de procéder à l’apprentissage par renforcementnous avions besoin de données de comparaisonà savoir au moins deux réponses du modèleclassées par ordre de qualité. Pour obtenir ces donnéesnous avons repris les conversations que les entraîneurs avaient eu avec le chatbot. Nous avons sélectionné au hasard un message écrit par le modèleavons échantillonné plusieurs variantes de suites possibles et avons demandé aux entraîneurs d’IA de les classer. Ces modèles de récompense nous ont alors permis d’affiner le modèle selon une stratégie d’optimisation de la politique proximale. Nous avons répété ce processus à plusieurs reprises.
ChatGPT a été affiné à partir d’un modèle de la série GPT‑3.5 dont l’entraînement s’est terminé début 2022. Pour en savoir plus sur les modèles de la série 3.5cliquez ici(ouverture dans une nouvelle fenêtre). ChatGPT et GPT‑3.5 ont été entraînés sur une infrastructure de supercalculateurs d’IA Azure.
- ChatGPT propose parfois des réponses crédiblesmais qui sont en réalité fausses ou dénuées de sens. Il est difficile de résoudre ce problème. En effetpendant l’entraînement par renforcementaucune source de vérité n’a été utilisée. De plussi nous entraînons le modèle de sorte à le rendre plus prudentil préfère ensuite refuser de répondre à des questions qu’il est pourtant en mesure de traiter. Enfinl’entraînement supervisé induit le modèle en erreurcar la réponse optimale ne dépend pas de ce que l’entraîneur humain saitmais de ce que le modèle sait(ouverture dans une nouvelle fenêtre).
- ChatGPT est sensible aux variations et répétitions des prompts. Par exempleil peut affirmer ne pas connaître la réponse à une questionmais y répondre correctement une fois qu’elle a été légèrement reformulée.
- Le modèle est généralement bien trop bavard et abuse de certaines expressions. Il répète ainsi souvent qu’il est un modèle de langage entraîné par OpenAI. Ces problèmes proviennent de biais dans les données d’entraînement (les entraîneurs préfèrent les réponses longues qui paraissent plus complètes) et de problèmes de sur-optimisation bien connus.12
- Dans l’idéalle modèle devrait poser des questions pour clarifier les points ambigus de la demande de l’utilisateur. En réaliténos modèles actuels se contentent généralement de deviner l’intention de l’utilisateur.
- Nous avons fait en sorte que le modèle refuse de répondre aux demandes inappropriéesmais il peut parfois répondre aux instructions dangereuses ou se montrer biaisé. Nous utilisons l’API Moderation pour alerter certains types de contenus dangereux ou les bloquermais nous nous attendons à un certain nombre de faux positifs et faux négatifs dans les premiers temps. Nous avons hâte de recueillir les commentaires de nos utilisateurs pour continuer à améliorer ce système.
Cette version préliminaire de ChatGPT marque la dernière étape du déploiement progressif par OpenAI de systèmes d’IA toujours plus sûrs et utiles. Cette version bénéficie de mécanismes de sécurité nés des nombreuses leçons que nous avons tirées de nos modèles précédentscomme GPT‑3 et Codex. Nous avons notamment considérablement réduit les sorties dangereuses et erronées grâce à l’apprentissage par renforcement à partir de rétroaction humaine.
Comme nous l’avons mentionné précédemmentnous avons conscience que ce modèle reste sujet à de nombreuses limites ; nous prévoyons donc de le mettre à jour pour y remédier. Nous espérons qu’en rendant ChatGPT accessiblenos utilisateurs nous aiderons à repérer des problèmes dont nous n’avons pas encore connaissance.
Nous encourageons les utilisateurs à nous faire des commentaires sur les sorties problématiques du modèle via l’interfaceainsi que sur les faux positifs et faux négatifs du filtre externeégalement accessible via l’interface. Nous sommes particulièrement intéressés par les sorties dangereuses susceptibles d’être générées dans des conditions réalistessans piègesainsi que les commentaires permettant de découvrir et comprendre des risques inédits et d’y apporter des solutions. Vous pouvez participer au concours de commentaires ChatGPT(ouverture dans une nouvelle fenêtre)3 pour tenter de remporter jusqu’à 500 $ en crédits d’API.A Pour participerenvoyez vos commentaires via le formulaire dont le lien est indiqué dans l’interface de ChatGPT.
Nous avons hâte de tirer les leçons de cette version pour déployer des systèmes plus puissantscomme à notre habitude.
Notes de bas de page
- A
Concours sans obligation d’achat et sous réserve de conformité à la législation locale. Vous devez avoir au moins 18 ans pour pouvoir y participer. Pour en savoir plusconsultez le règlement officiel(ouverture dans une nouvelle fenêtre).
Références
- 1
StiennonNisanet al. « Learning to summarize with human feedback(ouverture dans une nouvelle fenêtre) ». Advances in Neural Information Processing Systems 33 (2020) : 3008-3021.
- 2
Leo GaoJohn Schulman et Jacob Hilton. « Scaling Laws for Reward Model Overoptimization(ouverture dans une nouvelle fenêtre) ». arXiv preprint arXiv:2210.10760 (2022).
- 3
L’idée de ce concours est en partie venue des travaux de Josh KenwayCamille FrançoisSasha Costanza-ChockInioluwa Deborah Raji et Joy Buolamwini. Bug Bounties For Algorithmic Harms? Lessons from Cybersecurity Vulnerability Disclosure for Algorithmic Harms DiscoveryDisclosureand Redress. WashingtonDC : Algorithmic Justice League. Janvier 2022. Disponible sur https://ajl.org/bugs(ouverture dans une nouvelle fenêtre). Vous pouvez également consulter les travaux de Miles BrundageShahar AvinJasmine WangHaydn BelfieldGretchen Kruegeret al. « Toward Trustworthy AI Development: Mechanisms for Supporting Verifiable Claims »avril 2020. Disponible sur https://arxiv.org/abs/2004.07213(ouverture dans une nouvelle fenêtre). Un concours du même type a déjà été organisé par HackerOne. 2021b. « Twitter Algorithmic Bias ». HackerOne. https://hackerone.com/twitter-algorithmic-bias?type=team(ouverture dans une nouvelle fenêtre). Enfinvous pouvez consulter les travaux menés à ce sujet par JB Rubinovitz« Bias Bounty Programs as a Method of Combatting Bias in AI »août 2018. Disponible sur https://rubinovitz.com/2018/08/01/bias-bounty-programs-as-a-method-of-combatting(ouverture dans une nouvelle fenêtre).
Auteur
Remerciements
John SchulmanBarret ZophChristina KimJacob HiltonJacob MenickJiayi WengJuan Felipe Ceron UribeLiam FedusLuke MetzMichael PokornyRapha Gontijo LopesShengjia ZhaoArun VijayvergiyaEric SiglerAdam PerelmanChelsea VossMike HeatonJoel ParishDave CummingsRajeev NayakValerie BalcomDavid SchnurrTomer KaftanChris HallacyNicholas TurleyNoah DeutschVik GoelJonathan WardAris KonstantinidisWojciech ZarembaLong OuyangLeonard BogdonoffJoshua GrossDavid MedinaSarah YooTeddy LeeRyan LoweDan MossingJoost HuizingaRoger JiangCarroll WainwrightDiogo AlmeidaSteph LinMarvin ZhangKai XiaoKatarina SlamaSteven BillsAlex GrayJan LeikeJakub PachockiPhil TilletShantanu JainGreg BrockmanNick RyderAlex PainoQiming YuanClemens WinterBen WangMo BavarianIgor BabuschkinSzymon SidorIngmar KanitscheiderMikhail PavlovMatthias PlappertNik TezakHeewoo JunWilliam ZhukVitchyr PongLukasz KaiserJerry TworekAndrew CarrLilian WengSandhini AgarwalKarl CobbeVineet KosarajuAlethea PowerStanislas PoluJesse HanRaul PuriShawn JainBenjamin ChessChristian GibsonOleg BoikoEmy ParparitaAmin TootoonchianKyle KosicChristopher Hesse
