Flood Sung : Bonjour à tous, je suis Flood Sung, actuellement responsable des produits d'IA chez QiYuan World. Auparavant, j'étais chercheur en apprentissage par renforcement chez ByteDance, me concentrant sur le développement de technologies liées à l'IA.
Xia He : Commençons par un sujet léger. Avez-vous récemment vu des formes de produits particulièrement intéressantes et impressionnantes dont vous pourriez parler ?
Flood Sung : Récemment, les produits les plus populaires sont sur GitHub, et la culture open source à l’étranger est très forte, et de nombreux geeks ne veulent pas gagner d’argent, mais s’engagent d’abord dans des projets open source pour jouer. Aujourd’hui, les principales tendances sur GitHub sont toutes liées à ChatGPT, comme une application très populaire appelée AutoGPT, qui vise à rendre GPT entièrement automatisé. Par exemple, quelqu’un a connecté GPT à Siri par le biais d’un code, a dit « aidez-moi à créer un site Web » avec des commandes vocales, et a interagi avec l’audio tout au long du processus, et enfin a construit le site Web. C’est passé de l’assistance aux humains à l’exécution alternative, ce qui est très intéressant, et il a gagné 10 000 étoiles en quelques jours.
Xia He : Cela peut déjà exécuter des tâches réelles ? Avant, il semblait encore être au stade de l'imaginaire.
Flood Sung : Oui, l'accumulation de connaissances et la capacité cognitive de GPT-4 ont déjà dépassé celles d'un étudiant universitaire. Tant qu'on lui donne l'autorisation d'utiliser des logiciels ou des interfaces, et avec un peu de développement, il peut se connecter au monde réel pour traiter des tâches. Par exemple, "aide-moi à réserver un hôtel", si on lui donne l'accès à Alipay, il peut passer la commande. Ce n'est plus de la science-fiction, les geeks sont déjà en train de valider rapidement, les avancées technologiques sont rapides, passant de la conversation à la lecture de documents, puis maintenant au niveau d'exécution.
Xia He : La technologie de ChatGPT est-elle une rupture de paradigme ou une extension des technologies passées ?
Flood Sung : C’est définitivement une extension de la technologie du passé. Ilya Sutskever, scientifique en chef d’Open AI, a également déclaré que ChatGPT n’a pas de nouvelles idées, et que toutes les idées étaient là il y a une décennie ou deux, comme les réseaux neuronaux et l’apprentissage par renforcement. La différence est d’échelle : auparavant, des dizaines de neurones, maintenant un réseau neuronal avec des centaines de milliards de paramètres. Transformer a émergé en 2017, mais son mécanisme d’attention existait bien plus tôt. Le succès d’AlphaGo témoigne également du potentiel de l’apprentissage par renforcement dans des domaines spécifiques. Maintenant, il ne reste plus qu’à utiliser ces méthodes sur des modèles de langage, en optimisant le résultat pour répondre aux besoins humains.
Xia He : Donc, l'effet de sensation de ChatGPT est dû à l'application de technologies existantes aux grands modèles de langage ?
Flood Sung : Oui. Le monde des mots englobe la logique et la pensée humaines, avec un champ d'application très large. Open AI a fermé son département robotique il y a quelques années pour se concentrer sur les modèles linguistiques, tout comme AlphaGo, qui a d'abord été entraîné avec des données d'experts, puis optimisé par apprentissage par renforcement, avec des résultats significatifs.
Xia He : Vous avez mentionné que le processus d'apprentissage de ChatGPT est similaire à celui des humains : mémorisation, résolution de problèmes, examens. Quels sont les technologies correspondantes à ces trois étapes ?
Flood Sung : La première étape de la « mémorisation » est l’apprentissage non supervisé, où le modèle prédit le mot suivant, de la même manière que l’approbation, et plus la prédiction est précise, meilleur est l’apprentissage. La deuxième étape de la « résolution de problèmes » est l’apprentissage supervisé, qui utilise des instructions humaines (telles que l’écriture de code, de poèmes ou de rapports) pour entraîner les entrées et les sorties, de la même manière que si l’on répondait à des questions lors d’un examen. La troisième étape de « l’examen » est l’apprentissage par renforcement, qui optimise les réseaux neuronaux grâce à la rétroaction humaine. Par exemple, jouer au tennis de table, pratiquer à plusieurs reprises pour améliorer le niveau ; L’IA forme des modèles de récompense par le biais d’un scoring humain, optimise en permanence les performances et devient de plus en plus conforme aux exigences humaines.
Xia He : Quelle est la différence entre la Chine et Open AI ? Dans l'industrie, on dit qu'il y a deux ans de retard, mais où se situe exactement cette différence ?
Flood Sung : L'écart réside d'abord dans la cognition. Il y a quelques années, personne ne croyait qu'il était possible de doter l'IA de capacités de raisonnement logique simplement en prédisant le prochain caractère. Open AI a la foi, convaincu que les grands modèles et les grandes données peuvent résoudre des problèmes, avec un investissement énorme, passant de 1,5 milliard de paramètres pour GPT-2 à 175 milliards pour GPT-3. En Chine, l'accent est mis sur des domaines lucratifs comme la livraison de nourriture, le commerce électronique et les courtes vidéos, sans énergie pour investir dans des technologies de pointe. Maintenant, les grandes entreprises et les start-ups en Chine essaient de rattraper leur retard, mais il est difficile de dépasser en ne suivant que les tendances. Open AI ne publie pas les détails des algorithmes les plus récents, et la Chine doit innover sur son propre chemin, sinon il sera difficile de rivaliser.
Xia He : Open AI publiait auparavant des articles pour présenter ses méthodes d'entraînement, mais quelles parties ne sont plus open source maintenant ?
Flood Sung : Avant, il y avait des articles, comme les détails de formation de GPT-3. Maintenant, le rapport technique de GPT-4 ne montre que les résultats, comme un score presque parfait au SAT américain, mais l'architecture réseau et les techniques d'entraînement sont complètement confidentielles, nous ne pouvons que deviner. Les technologies de base comme Transformer sont open source, mais la mise en œuvre spécifique du dernier modèle est une boîte noire.
Xia He : Tout le monde dit que ChatGPT est le moment iPhone de l'histoire du mobile, que pensez-vous de l'évolution de son écosystème futur ?
Flood Sung : L'impact de ChatGPT dépasse de loin celui de l'iPhone, ressemblant davantage à l'invention de l'électricité, créant un nouveau média qui donne du pouvoir à diverses industries. À l'avenir, n'importe quel domaine pourrait se connecter à l'IA. Si Open AI domine, comme Apple, avec des performances supérieures ; les modèles open source ressemblent à Android, avec des performances légèrement inférieures mais des coûts bas, se répandant partout. Il pourrait y avoir quelques grands acteurs en compétition, mais les modèles open source rendront l'IA aussi accessible que les téléphones, permettant à chacun de l'utiliser.
Xia He : ChatGPT a explosé, l'ingénierie des prompts (Prompt Engineering) a également explosé. Les gens ordinaires doivent-ils apprendre ce langage normatif pour dialoguer avec l'IA ?
Flood Sung : Il n'est pas nécessaire d'apprendre, mais savoir utiliser l'IA peut améliorer l'efficacité. À l'avenir, comme pour la programmation, les gens ordinaires pourront développer des programmes en utilisant un langage naturel, ce qui abaissera considérablement le seuil d'entrée. L'ingénierie des invites consiste essentiellement à exprimer clairement les besoins, tout comme un chef de produit exprime ses exigences. Ceux qui sauront mieux utiliser l'IA auront un avantage concurrentiel ; ceux qui ne l'utilisent pas pourraient être éliminés. À l'avenir, l'IA deviendra un partenaire pour l'humanité, mais à condition d'assurer la sécurité et d'éviter de contredire la volonté humaine.
Xia He : Vous avez mentionné des problèmes de sécurité. De nombreuses personnes partagent actuellement des modèles de mots-clés pour améliorer la productivité. L'ingénierie des invites disparaîtra-t-elle à l'avenir comme les "experts en recherche" au début ?
Flood Sung : ne disparaîtra pas, mais le seuil sera abaissé. La demande d'expression existe toujours, tout comme lorsque vous dirigez des employés, vous devez clarifier les objectifs. Le Prompt Engineering est l'art de poser des questions sur le plan logique, ce n'est pas un problème technique. L'avenir sera peut-être plus simple, mais une communication claire reste nécessaire.
Xia He : Vous avez mentionné que ChatGPT pourrait devenir un expert de premier plan dans des domaines spécialisés. Est-ce qu'il se trompe dans des questions professionnelles parce qu'il manque de données de domaine ou en raison d'un manque d'apprentissage par renforcement ?
Flood Sung : Deux raisons. Premièrement, il y a peu de données dans les domaines spécialisés, par exemple, il y a beaucoup de problèmes de mathématiques pour les écoles élémentaires, mais peu de problèmes de mathématiques olympiques ou de haut niveau, ce qui entraîne un manque d'entraînement. Deuxièmement, pour dépasser le niveau humain, l'IA doit interagir avec l'environnement par le biais de l'apprentissage par renforcement et explorer des domaines inconnus. Par exemple, pour résoudre la conjecture de Goldbach, il faut une grande quantité de données de domaine spécifique et une optimisation par apprentissage par renforcement.
Xia He : Si l'IA dépasse l'humain grâce à l'apprentissage par renforcement, qui jugera ? Va-t-elle abandonner les normes morales établies par l'homme ?
Flood Sung : En théorie, l'IA peut s'auto-apprendre, comme le jeu du double combat de Zhou Botong, s'améliorant elle-même. Cela est très dangereux, car elle pourrait dépasser les limites humaines et même abandonner les normes morales. Actuellement, bien que GPT-4 ait des restrictions, il peut toujours devenir un personnage malveillant par des mots-clés spécifiques comme "noir". La sécurité de l'IA est une question sérieuse ; une erreur occasionnelle dans la conduite autonome peut seulement détruire une voiture, mais une erreur d'une IA super puissante pourrait affecter l'ensemble de l'humanité. J'appelle à résoudre en priorité les problèmes de sécurité avant de poursuivre la recherche.
Xia He : Quelles sont les tendances ou les choses intéressantes que vous avez suivies récemment ? Quelles sont les sources d'information ?
Flood Sung : Il y a des progrès chaque jour, principalement sur Twitter et GitHub, où des geeks et des scientifiques étrangers partagent souvent les dernières nouvelles. Par exemple, Microsoft intègre de grands modèles dans des robots pour contrôler leur comportement, explorant presque l'infini de l'espace. Les principaux canaux sont Twitter et GitHub, des lieux de rassemblement pour les scientifiques et les geeks.
Xia He : D'accord, la question d'aujourd'hui se termine ici. Merci Flood pour cette brillante présentation !
Flood Sung : Je vous en prie, je suis très heureux d'accepter l'interview !
Le contenu est fourni à titre de référence uniquement, il ne s'agit pas d'une sollicitation ou d'une offre. Aucun conseil en investissement, fiscalité ou juridique n'est fourni. Consultez l'Avertissement pour plus de détails sur les risques.
Entretien avec Flood Sung, expert en IA de Qi Yuan World : de l'automatisation GPT à RWA, exploration de l'avenir de l'IA et de la Blockchain
Xia He : Bonjour, Flood, pouvez-vous d'abord vous présenter brièvement ?
Flood Sung : Bonjour à tous, je suis Flood Sung, actuellement responsable des produits d'IA chez QiYuan World. Auparavant, j'étais chercheur en apprentissage par renforcement chez ByteDance, me concentrant sur le développement de technologies liées à l'IA.
Xia He : Commençons par un sujet léger. Avez-vous récemment vu des formes de produits particulièrement intéressantes et impressionnantes dont vous pourriez parler ?
Flood Sung : Récemment, les produits les plus populaires sont sur GitHub, et la culture open source à l’étranger est très forte, et de nombreux geeks ne veulent pas gagner d’argent, mais s’engagent d’abord dans des projets open source pour jouer. Aujourd’hui, les principales tendances sur GitHub sont toutes liées à ChatGPT, comme une application très populaire appelée AutoGPT, qui vise à rendre GPT entièrement automatisé. Par exemple, quelqu’un a connecté GPT à Siri par le biais d’un code, a dit « aidez-moi à créer un site Web » avec des commandes vocales, et a interagi avec l’audio tout au long du processus, et enfin a construit le site Web. C’est passé de l’assistance aux humains à l’exécution alternative, ce qui est très intéressant, et il a gagné 10 000 étoiles en quelques jours.
Xia He : Cela peut déjà exécuter des tâches réelles ? Avant, il semblait encore être au stade de l'imaginaire.
Flood Sung : Oui, l'accumulation de connaissances et la capacité cognitive de GPT-4 ont déjà dépassé celles d'un étudiant universitaire. Tant qu'on lui donne l'autorisation d'utiliser des logiciels ou des interfaces, et avec un peu de développement, il peut se connecter au monde réel pour traiter des tâches. Par exemple, "aide-moi à réserver un hôtel", si on lui donne l'accès à Alipay, il peut passer la commande. Ce n'est plus de la science-fiction, les geeks sont déjà en train de valider rapidement, les avancées technologiques sont rapides, passant de la conversation à la lecture de documents, puis maintenant au niveau d'exécution.
Xia He : La technologie de ChatGPT est-elle une rupture de paradigme ou une extension des technologies passées ?
Flood Sung : C’est définitivement une extension de la technologie du passé. Ilya Sutskever, scientifique en chef d’Open AI, a également déclaré que ChatGPT n’a pas de nouvelles idées, et que toutes les idées étaient là il y a une décennie ou deux, comme les réseaux neuronaux et l’apprentissage par renforcement. La différence est d’échelle : auparavant, des dizaines de neurones, maintenant un réseau neuronal avec des centaines de milliards de paramètres. Transformer a émergé en 2017, mais son mécanisme d’attention existait bien plus tôt. Le succès d’AlphaGo témoigne également du potentiel de l’apprentissage par renforcement dans des domaines spécifiques. Maintenant, il ne reste plus qu’à utiliser ces méthodes sur des modèles de langage, en optimisant le résultat pour répondre aux besoins humains.
Xia He : Donc, l'effet de sensation de ChatGPT est dû à l'application de technologies existantes aux grands modèles de langage ?
Flood Sung : Oui. Le monde des mots englobe la logique et la pensée humaines, avec un champ d'application très large. Open AI a fermé son département robotique il y a quelques années pour se concentrer sur les modèles linguistiques, tout comme AlphaGo, qui a d'abord été entraîné avec des données d'experts, puis optimisé par apprentissage par renforcement, avec des résultats significatifs.
Xia He : Vous avez mentionné que le processus d'apprentissage de ChatGPT est similaire à celui des humains : mémorisation, résolution de problèmes, examens. Quels sont les technologies correspondantes à ces trois étapes ?
Flood Sung : La première étape de la « mémorisation » est l’apprentissage non supervisé, où le modèle prédit le mot suivant, de la même manière que l’approbation, et plus la prédiction est précise, meilleur est l’apprentissage. La deuxième étape de la « résolution de problèmes » est l’apprentissage supervisé, qui utilise des instructions humaines (telles que l’écriture de code, de poèmes ou de rapports) pour entraîner les entrées et les sorties, de la même manière que si l’on répondait à des questions lors d’un examen. La troisième étape de « l’examen » est l’apprentissage par renforcement, qui optimise les réseaux neuronaux grâce à la rétroaction humaine. Par exemple, jouer au tennis de table, pratiquer à plusieurs reprises pour améliorer le niveau ; L’IA forme des modèles de récompense par le biais d’un scoring humain, optimise en permanence les performances et devient de plus en plus conforme aux exigences humaines.
Xia He : Quelle est la différence entre la Chine et Open AI ? Dans l'industrie, on dit qu'il y a deux ans de retard, mais où se situe exactement cette différence ?
Flood Sung : L'écart réside d'abord dans la cognition. Il y a quelques années, personne ne croyait qu'il était possible de doter l'IA de capacités de raisonnement logique simplement en prédisant le prochain caractère. Open AI a la foi, convaincu que les grands modèles et les grandes données peuvent résoudre des problèmes, avec un investissement énorme, passant de 1,5 milliard de paramètres pour GPT-2 à 175 milliards pour GPT-3. En Chine, l'accent est mis sur des domaines lucratifs comme la livraison de nourriture, le commerce électronique et les courtes vidéos, sans énergie pour investir dans des technologies de pointe. Maintenant, les grandes entreprises et les start-ups en Chine essaient de rattraper leur retard, mais il est difficile de dépasser en ne suivant que les tendances. Open AI ne publie pas les détails des algorithmes les plus récents, et la Chine doit innover sur son propre chemin, sinon il sera difficile de rivaliser.
Xia He : Open AI publiait auparavant des articles pour présenter ses méthodes d'entraînement, mais quelles parties ne sont plus open source maintenant ?
Flood Sung : Avant, il y avait des articles, comme les détails de formation de GPT-3. Maintenant, le rapport technique de GPT-4 ne montre que les résultats, comme un score presque parfait au SAT américain, mais l'architecture réseau et les techniques d'entraînement sont complètement confidentielles, nous ne pouvons que deviner. Les technologies de base comme Transformer sont open source, mais la mise en œuvre spécifique du dernier modèle est une boîte noire.
Xia He : Tout le monde dit que ChatGPT est le moment iPhone de l'histoire du mobile, que pensez-vous de l'évolution de son écosystème futur ?
Flood Sung : L'impact de ChatGPT dépasse de loin celui de l'iPhone, ressemblant davantage à l'invention de l'électricité, créant un nouveau média qui donne du pouvoir à diverses industries. À l'avenir, n'importe quel domaine pourrait se connecter à l'IA. Si Open AI domine, comme Apple, avec des performances supérieures ; les modèles open source ressemblent à Android, avec des performances légèrement inférieures mais des coûts bas, se répandant partout. Il pourrait y avoir quelques grands acteurs en compétition, mais les modèles open source rendront l'IA aussi accessible que les téléphones, permettant à chacun de l'utiliser.
Xia He : ChatGPT a explosé, l'ingénierie des prompts (Prompt Engineering) a également explosé. Les gens ordinaires doivent-ils apprendre ce langage normatif pour dialoguer avec l'IA ?
Flood Sung : Il n'est pas nécessaire d'apprendre, mais savoir utiliser l'IA peut améliorer l'efficacité. À l'avenir, comme pour la programmation, les gens ordinaires pourront développer des programmes en utilisant un langage naturel, ce qui abaissera considérablement le seuil d'entrée. L'ingénierie des invites consiste essentiellement à exprimer clairement les besoins, tout comme un chef de produit exprime ses exigences. Ceux qui sauront mieux utiliser l'IA auront un avantage concurrentiel ; ceux qui ne l'utilisent pas pourraient être éliminés. À l'avenir, l'IA deviendra un partenaire pour l'humanité, mais à condition d'assurer la sécurité et d'éviter de contredire la volonté humaine.
Xia He : Vous avez mentionné des problèmes de sécurité. De nombreuses personnes partagent actuellement des modèles de mots-clés pour améliorer la productivité. L'ingénierie des invites disparaîtra-t-elle à l'avenir comme les "experts en recherche" au début ?
Flood Sung : ne disparaîtra pas, mais le seuil sera abaissé. La demande d'expression existe toujours, tout comme lorsque vous dirigez des employés, vous devez clarifier les objectifs. Le Prompt Engineering est l'art de poser des questions sur le plan logique, ce n'est pas un problème technique. L'avenir sera peut-être plus simple, mais une communication claire reste nécessaire.
Xia He : Vous avez mentionné que ChatGPT pourrait devenir un expert de premier plan dans des domaines spécialisés. Est-ce qu'il se trompe dans des questions professionnelles parce qu'il manque de données de domaine ou en raison d'un manque d'apprentissage par renforcement ?
Flood Sung : Deux raisons. Premièrement, il y a peu de données dans les domaines spécialisés, par exemple, il y a beaucoup de problèmes de mathématiques pour les écoles élémentaires, mais peu de problèmes de mathématiques olympiques ou de haut niveau, ce qui entraîne un manque d'entraînement. Deuxièmement, pour dépasser le niveau humain, l'IA doit interagir avec l'environnement par le biais de l'apprentissage par renforcement et explorer des domaines inconnus. Par exemple, pour résoudre la conjecture de Goldbach, il faut une grande quantité de données de domaine spécifique et une optimisation par apprentissage par renforcement.
Xia He : Si l'IA dépasse l'humain grâce à l'apprentissage par renforcement, qui jugera ? Va-t-elle abandonner les normes morales établies par l'homme ?
Flood Sung : En théorie, l'IA peut s'auto-apprendre, comme le jeu du double combat de Zhou Botong, s'améliorant elle-même. Cela est très dangereux, car elle pourrait dépasser les limites humaines et même abandonner les normes morales. Actuellement, bien que GPT-4 ait des restrictions, il peut toujours devenir un personnage malveillant par des mots-clés spécifiques comme "noir". La sécurité de l'IA est une question sérieuse ; une erreur occasionnelle dans la conduite autonome peut seulement détruire une voiture, mais une erreur d'une IA super puissante pourrait affecter l'ensemble de l'humanité. J'appelle à résoudre en priorité les problèmes de sécurité avant de poursuivre la recherche.
Xia He : Quelles sont les tendances ou les choses intéressantes que vous avez suivies récemment ? Quelles sont les sources d'information ?
Flood Sung : Il y a des progrès chaque jour, principalement sur Twitter et GitHub, où des geeks et des scientifiques étrangers partagent souvent les dernières nouvelles. Par exemple, Microsoft intègre de grands modèles dans des robots pour contrôler leur comportement, explorant presque l'infini de l'espace. Les principaux canaux sont Twitter et GitHub, des lieux de rassemblement pour les scientifiques et les geeks.
Xia He : D'accord, la question d'aujourd'hui se termine ici. Merci Flood pour cette brillante présentation !
Flood Sung : Je vous en prie, je suis très heureux d'accepter l'interview !