Verano: Hola, Flood, ¿puedes hacer una breve presentación de ti mismo?
Flood Sung: Hola a todos, soy Flood Sung, actualmente soy el responsable de productos de IA en el mundo de Qiyuan. Anteriormente, trabajé en ByteDance como investigador en aprendizaje por refuerzo, centrándome en el desarrollo de tecnologías relacionadas con la IA.
Xia He: Comencemos con un tema ligero. ¿Ha visto recientemente alguna forma de producto que sea especialmente interesante o memorable, y podría compartirla?
Flood Sung: Los productos más populares recientemente están en GitHub, la cultura de código abierto en el extranjero es muy fuerte, muchos geeks no tienen como objetivo ganar dinero, sino que primero se dedican a los proyectos de código abierto para divertirse. Ahora, las principales tendencias en GitHub están relacionadas con ChatGPT, como una aplicación muy popular llamada AutoGPT, cuyo objetivo es hacer que GPT funcione de manera completamente automatizada. Por ejemplo, alguien conectó GPT a Siri a través de código y usó comandos de voz para decir "ayúdame a crear un sitio web", interactuando completamente por audio, y al final realmente construyó el sitio web. Esto de pasar de ayudar a los humanos a reemplazar la ejecución es muy interesante, y en unos días obtuvo 10,000 estrellas.
Xia He: ¿Esto ya puede ejecutar tareas reales? Antes parecía que todavía estaba en la fase de imaginación.
Flood Sung: Sí, la acumulación de conocimientos y la capacidad cognitiva de GPT-4 ya han superado a la de un estudiante universitario. Siempre que se le autorice a utilizar software o interfaces, con un poco de desarrollo, podrá conectarse al mundo real para realizar tareas. Por ejemplo, "ayúdame a reservar un hotel", si se le da acceso a Alipay, podrá hacer el pedido. Esto ya no es ciencia ficción, los geeks ya están verificando rápidamente, el avance tecnológico es rápido, desde el diálogo hasta la lectura de documentos, y ahora hasta el nivel de ejecución.
Xia He: ¿La tecnología de ChatGPT es un avance de paradigma o una extensión de las tecnologías pasadas?
Flood Sung: Definitivamente es una extensión de la tecnología del pasado. Ilya Sutskever, científico jefe de Open AI, también dijo que ChatGPT no tiene ideas nuevas, y que todas las ideas estaban allí hace una o dos décadas, como las redes neuronales y el aprendizaje por refuerzo. La diferencia está en la escala: antes docenas de neuronas, ahora una red neuronal con cientos de miles de millones de parámetros. Transformer surgió en 2017, pero su mecanismo de atención existía mucho antes. El éxito de AlphaGo también es un testimonio del potencial del aprendizaje por refuerzo en dominios específicos. Ahora solo es cuestión de usar estos métodos en modelos de lenguaje, optimizando la salida para que coincida con las necesidades humanas.
Xia He: ¿Entonces el efecto de sensación de ChatGPT se debe a aplicar tecnologías existentes a los modelos de lenguaje grandes?
Flood Sung: Sí. El mundo de las palabras abarca la lógica y el pensamiento humano, con un rango de aplicación muy amplio. Open AI cerró su departamento de robots hace unos años y se centró completamente en los modelos de lenguaje, al igual que AlphaGo, que primero se entrena con datos de expertos y luego se optimiza a través del aprendizaje por refuerzo, con resultados significativos.
Xia He: Mencionaste que el proceso de aprendizaje de ChatGPT es similar al de los humanos: memorizar, resolver problemas, exámenes. ¿A qué tecnologías corresponden estas tres etapas?
La primera etapa de la "memorización" es el aprendizaje no supervisado, donde el modelo predice la siguiente palabra, de manera similar a la aprobación, y cuanto más precisa sea la predicción, mejor será el aprendizaje. La segunda etapa de la "resolución de problemas" es el aprendizaje supervisado, que utiliza instrucciones humanas (como escribir código, poemas o informes) para entrenar la entrada y la salida, de forma similar a responder preguntas en un examen. La tercera etapa del "examen" es el aprendizaje por refuerzo, que optimiza las redes neuronales a través de la retroalimentación humana. Por ejemplo, jugar al tenis de mesa, practicar repetidamente para mejorar el nivel; La IA entrena a los modelos de recompensa a través de la puntuación humana, optimiza continuamente el rendimiento y se ajusta cada vez más a las necesidades humanas.
Xia He: ¿Cuál es la diferencia entre China y Open AI? La industria dice que hay una diferencia de dos años, ¿en qué paso se encuentra esa diferencia?
Flood Sung: La brecha está ante todo en la conciencia. Hace unos años, nadie creía que el simple hecho de predecir el próximo personaje haría que la IA fuera capaz de razonar lógicamente. Open AI tiene fe y cree firmemente que los grandes modelos y los grandes datos pueden resolver problemas, y ha invertido mucho, desde los 1.500 millones de parámetros de GPT-2 hasta los 175.000 millones de GPT-3. En China, se centra en campos rentables como la entrega de alimentos, el comercio electrónico y los videos cortos, y no tiene energía para invertir en tecnologías de vanguardia. Ahora los fabricantes nacionales y las empresas emergentes se están poniendo al día, pero es difícil superar solo el seguimiento. Open AI no revela los detalles de los últimos algoritmos, y China necesita innovar a su manera, de lo contrario será difícil competir.
Xia He: Open AI solía publicar artículos sobre métodos de entrenamiento, ¿ahora qué partes no son de código abierto?
Flood Sung: Antes había documentos, como los detalles de entrenamiento de GPT-3. Ahora el informe técnico de GPT-4 solo muestra resultados, como la puntuación casi perfecta en el examen de ingreso a la universidad en EE.UU., pero la arquitectura de la red y las técnicas de entrenamiento son completamente confidenciales, solo podemos especular. Las tecnologías básicas como Transformer son de código abierto, pero la implementación específica de los modelos más recientes es una caja negra.
Xia He: Todos dicen que ChatGPT es el momento del iPhone en la historia de los teléfonos móviles, ¿cómo cree que se desarrollará su ecosistema futuro?
Flood Sung: El impacto de ChatGPT va mucho más allá del iPhone, se asemeja más a la invención de la electricidad, creando un nuevo medio que empodera a diversas industrias. En el futuro, cualquier campo podría integrar la IA. Si Open AI domina el mercado, será como Apple, con un rendimiento superior; los modelos de código abierto serán como Android, con un rendimiento algo inferior pero a bajo costo, floreciendo por todas partes. Podrían surgir unos pocos jugadores de primer nivel compitiendo, pero los modelos de código abierto harán que la IA se generalice como los teléfonos móviles, accesible para todos.
Xia He: ChatGPT se ha vuelto popular, y la Ingeniería de Prompts también. ¿Es necesario que las personas comunes aprendan este conjunto de normas lingüísticas para dialogar con la IA?
Flood Sung: No es necesario aprender, pero saber usar la IA puede aumentar la eficiencia. En el futuro, al igual que la programación, las personas comunes podrán desarrollar programas utilizando lenguaje natural, reduciendo significativamente la barrera de entrada. La ingeniería de prompts es esencialmente expresar claramente las necesidades, como lo hace un gerente de producto al plantear requisitos. Quien sepa usar mejor la IA, tendrá una ventaja competitiva; quienes no la usen podrían ser eliminados. En el futuro, la IA se convertirá en un compañero para la humanidad, pero es fundamental garantizar la seguridad y evitar ir en contra de la voluntad humana.
Xia He: Mencionó problemas de seguridad. Ahora muchas personas comparten plantillas de palabras clave para aumentar la productividad, ¿desaparecerá en el futuro la Ingeniería de Prompt como lo hicieron los "expertos en búsqueda" en sus inicios?
Flood Sung: No desaparecerá, pero el umbral se reducirá. Expresar la necesidad siempre está ahí, al igual que dirigir a los empleados, hay que dejar claro el objetivo. La ingeniería rápida es el arte de cuestionar a nivel lógico, no técnico. El futuro puede ser más sencillo, pero sigue siendo necesaria una comunicación clara.
Xia He: Has dicho que ChatGPT podría convertirse en un experto de primer nivel en campos profesionales. Ahora, ¿responde incorrectamente a preguntas profesionales debido a la falta de datos en el dominio o a la falta de aprendizaje por refuerzo?
Flood Sung: Dos razones. Primero, hay pocos datos en campos especializados, por ejemplo, hay muchas preguntas de matemáticas de primaria, pero pocas preguntas de olimpiadas matemáticas o problemas matemáticos de alto nivel, lo que lleva a una falta de entrenamiento. Segundo, para superar el nivel humano, la IA necesita interactuar con el entorno a través del aprendizaje por refuerzo y explorar áreas desconocidas. Por ejemplo, para resolver la conjetura de Goldbach, se necesita una gran cantidad de datos en profundidades específicas y una optimización mediante el aprendizaje por refuerzo.
Xia He: Si la IA supera a los humanos a través del aprendizaje reforzado, ¿quién juzgará? ¿Se descartarán las normas morales establecidas por los humanos?
Flood Sung: Teóricamente, la IA puede aprender por sí misma, como las peleas de izquierda y derecha de Zhou Botong, y la superación personal. Esto es peligroso porque puede romper la esclavitud humana e incluso descartar las normas morales. Ahora, aunque GPT-4 tiene limitaciones, todavía se puede "oscurecer" en un carácter malicioso a través de una palabra de aviso específica. La seguridad de la IA es un problema grave, ya que el error ocasional de la conducción autónoma puede destruir solo un automóvil, pero el error de la súper IA puede afectar a toda la humanidad. Pido que se priorice la seguridad antes de avanzar en la investigación.
Xia He: ¿Qué cosas de vanguardia o interesantes has estado siguiendo recientemente? ¿Cuáles son las fuentes de información?
Flood Sung: Hay nuevos avances todos los días, principalmente en Twitter y GitHub, donde los geeks y científicos de todo el mundo suelen compartir las últimas novedades. Por ejemplo, Microsoft está incorporando modelos grandes en robots para controlar su comportamiento y explorar el espacio de manera casi ilimitada. Los principales canales son Twitter y GitHub, el lugar de encuentro para científicos y geeks.
Xia He: Bueno, las preguntas de hoy terminan aquí. ¡Gracias a Flood por su maravillosa presentación!
Flood Sung: ¡De nada, estoy muy feliz de aceptar la entrevista!
El contenido es solo de referencia, no una solicitud u oferta. No se proporciona asesoramiento fiscal, legal ni de inversión. Consulte el Descargo de responsabilidad para obtener más información sobre los riesgos.
Entrevista con el experto en AI de Qiyuan World, Flood Sung: de la automatización de GPT a RWA, explorando el futuro de la AI y la Cadena de bloques.
Verano: Hola, Flood, ¿puedes hacer una breve presentación de ti mismo?
Flood Sung: Hola a todos, soy Flood Sung, actualmente soy el responsable de productos de IA en el mundo de Qiyuan. Anteriormente, trabajé en ByteDance como investigador en aprendizaje por refuerzo, centrándome en el desarrollo de tecnologías relacionadas con la IA.
Xia He: Comencemos con un tema ligero. ¿Ha visto recientemente alguna forma de producto que sea especialmente interesante o memorable, y podría compartirla?
Flood Sung: Los productos más populares recientemente están en GitHub, la cultura de código abierto en el extranjero es muy fuerte, muchos geeks no tienen como objetivo ganar dinero, sino que primero se dedican a los proyectos de código abierto para divertirse. Ahora, las principales tendencias en GitHub están relacionadas con ChatGPT, como una aplicación muy popular llamada AutoGPT, cuyo objetivo es hacer que GPT funcione de manera completamente automatizada. Por ejemplo, alguien conectó GPT a Siri a través de código y usó comandos de voz para decir "ayúdame a crear un sitio web", interactuando completamente por audio, y al final realmente construyó el sitio web. Esto de pasar de ayudar a los humanos a reemplazar la ejecución es muy interesante, y en unos días obtuvo 10,000 estrellas.
Xia He: ¿Esto ya puede ejecutar tareas reales? Antes parecía que todavía estaba en la fase de imaginación.
Flood Sung: Sí, la acumulación de conocimientos y la capacidad cognitiva de GPT-4 ya han superado a la de un estudiante universitario. Siempre que se le autorice a utilizar software o interfaces, con un poco de desarrollo, podrá conectarse al mundo real para realizar tareas. Por ejemplo, "ayúdame a reservar un hotel", si se le da acceso a Alipay, podrá hacer el pedido. Esto ya no es ciencia ficción, los geeks ya están verificando rápidamente, el avance tecnológico es rápido, desde el diálogo hasta la lectura de documentos, y ahora hasta el nivel de ejecución.
Xia He: ¿La tecnología de ChatGPT es un avance de paradigma o una extensión de las tecnologías pasadas?
Flood Sung: Definitivamente es una extensión de la tecnología del pasado. Ilya Sutskever, científico jefe de Open AI, también dijo que ChatGPT no tiene ideas nuevas, y que todas las ideas estaban allí hace una o dos décadas, como las redes neuronales y el aprendizaje por refuerzo. La diferencia está en la escala: antes docenas de neuronas, ahora una red neuronal con cientos de miles de millones de parámetros. Transformer surgió en 2017, pero su mecanismo de atención existía mucho antes. El éxito de AlphaGo también es un testimonio del potencial del aprendizaje por refuerzo en dominios específicos. Ahora solo es cuestión de usar estos métodos en modelos de lenguaje, optimizando la salida para que coincida con las necesidades humanas.
Xia He: ¿Entonces el efecto de sensación de ChatGPT se debe a aplicar tecnologías existentes a los modelos de lenguaje grandes?
Flood Sung: Sí. El mundo de las palabras abarca la lógica y el pensamiento humano, con un rango de aplicación muy amplio. Open AI cerró su departamento de robots hace unos años y se centró completamente en los modelos de lenguaje, al igual que AlphaGo, que primero se entrena con datos de expertos y luego se optimiza a través del aprendizaje por refuerzo, con resultados significativos.
Xia He: Mencionaste que el proceso de aprendizaje de ChatGPT es similar al de los humanos: memorizar, resolver problemas, exámenes. ¿A qué tecnologías corresponden estas tres etapas?
La primera etapa de la "memorización" es el aprendizaje no supervisado, donde el modelo predice la siguiente palabra, de manera similar a la aprobación, y cuanto más precisa sea la predicción, mejor será el aprendizaje. La segunda etapa de la "resolución de problemas" es el aprendizaje supervisado, que utiliza instrucciones humanas (como escribir código, poemas o informes) para entrenar la entrada y la salida, de forma similar a responder preguntas en un examen. La tercera etapa del "examen" es el aprendizaje por refuerzo, que optimiza las redes neuronales a través de la retroalimentación humana. Por ejemplo, jugar al tenis de mesa, practicar repetidamente para mejorar el nivel; La IA entrena a los modelos de recompensa a través de la puntuación humana, optimiza continuamente el rendimiento y se ajusta cada vez más a las necesidades humanas.
Xia He: ¿Cuál es la diferencia entre China y Open AI? La industria dice que hay una diferencia de dos años, ¿en qué paso se encuentra esa diferencia?
Flood Sung: La brecha está ante todo en la conciencia. Hace unos años, nadie creía que el simple hecho de predecir el próximo personaje haría que la IA fuera capaz de razonar lógicamente. Open AI tiene fe y cree firmemente que los grandes modelos y los grandes datos pueden resolver problemas, y ha invertido mucho, desde los 1.500 millones de parámetros de GPT-2 hasta los 175.000 millones de GPT-3. En China, se centra en campos rentables como la entrega de alimentos, el comercio electrónico y los videos cortos, y no tiene energía para invertir en tecnologías de vanguardia. Ahora los fabricantes nacionales y las empresas emergentes se están poniendo al día, pero es difícil superar solo el seguimiento. Open AI no revela los detalles de los últimos algoritmos, y China necesita innovar a su manera, de lo contrario será difícil competir.
Xia He: Open AI solía publicar artículos sobre métodos de entrenamiento, ¿ahora qué partes no son de código abierto?
Flood Sung: Antes había documentos, como los detalles de entrenamiento de GPT-3. Ahora el informe técnico de GPT-4 solo muestra resultados, como la puntuación casi perfecta en el examen de ingreso a la universidad en EE.UU., pero la arquitectura de la red y las técnicas de entrenamiento son completamente confidenciales, solo podemos especular. Las tecnologías básicas como Transformer son de código abierto, pero la implementación específica de los modelos más recientes es una caja negra.
Xia He: Todos dicen que ChatGPT es el momento del iPhone en la historia de los teléfonos móviles, ¿cómo cree que se desarrollará su ecosistema futuro?
Flood Sung: El impacto de ChatGPT va mucho más allá del iPhone, se asemeja más a la invención de la electricidad, creando un nuevo medio que empodera a diversas industrias. En el futuro, cualquier campo podría integrar la IA. Si Open AI domina el mercado, será como Apple, con un rendimiento superior; los modelos de código abierto serán como Android, con un rendimiento algo inferior pero a bajo costo, floreciendo por todas partes. Podrían surgir unos pocos jugadores de primer nivel compitiendo, pero los modelos de código abierto harán que la IA se generalice como los teléfonos móviles, accesible para todos.
Xia He: ChatGPT se ha vuelto popular, y la Ingeniería de Prompts también. ¿Es necesario que las personas comunes aprendan este conjunto de normas lingüísticas para dialogar con la IA?
Flood Sung: No es necesario aprender, pero saber usar la IA puede aumentar la eficiencia. En el futuro, al igual que la programación, las personas comunes podrán desarrollar programas utilizando lenguaje natural, reduciendo significativamente la barrera de entrada. La ingeniería de prompts es esencialmente expresar claramente las necesidades, como lo hace un gerente de producto al plantear requisitos. Quien sepa usar mejor la IA, tendrá una ventaja competitiva; quienes no la usen podrían ser eliminados. En el futuro, la IA se convertirá en un compañero para la humanidad, pero es fundamental garantizar la seguridad y evitar ir en contra de la voluntad humana.
Xia He: Mencionó problemas de seguridad. Ahora muchas personas comparten plantillas de palabras clave para aumentar la productividad, ¿desaparecerá en el futuro la Ingeniería de Prompt como lo hicieron los "expertos en búsqueda" en sus inicios?
Flood Sung: No desaparecerá, pero el umbral se reducirá. Expresar la necesidad siempre está ahí, al igual que dirigir a los empleados, hay que dejar claro el objetivo. La ingeniería rápida es el arte de cuestionar a nivel lógico, no técnico. El futuro puede ser más sencillo, pero sigue siendo necesaria una comunicación clara.
Xia He: Has dicho que ChatGPT podría convertirse en un experto de primer nivel en campos profesionales. Ahora, ¿responde incorrectamente a preguntas profesionales debido a la falta de datos en el dominio o a la falta de aprendizaje por refuerzo?
Flood Sung: Dos razones. Primero, hay pocos datos en campos especializados, por ejemplo, hay muchas preguntas de matemáticas de primaria, pero pocas preguntas de olimpiadas matemáticas o problemas matemáticos de alto nivel, lo que lleva a una falta de entrenamiento. Segundo, para superar el nivel humano, la IA necesita interactuar con el entorno a través del aprendizaje por refuerzo y explorar áreas desconocidas. Por ejemplo, para resolver la conjetura de Goldbach, se necesita una gran cantidad de datos en profundidades específicas y una optimización mediante el aprendizaje por refuerzo.
Xia He: Si la IA supera a los humanos a través del aprendizaje reforzado, ¿quién juzgará? ¿Se descartarán las normas morales establecidas por los humanos?
Flood Sung: Teóricamente, la IA puede aprender por sí misma, como las peleas de izquierda y derecha de Zhou Botong, y la superación personal. Esto es peligroso porque puede romper la esclavitud humana e incluso descartar las normas morales. Ahora, aunque GPT-4 tiene limitaciones, todavía se puede "oscurecer" en un carácter malicioso a través de una palabra de aviso específica. La seguridad de la IA es un problema grave, ya que el error ocasional de la conducción autónoma puede destruir solo un automóvil, pero el error de la súper IA puede afectar a toda la humanidad. Pido que se priorice la seguridad antes de avanzar en la investigación.
Xia He: ¿Qué cosas de vanguardia o interesantes has estado siguiendo recientemente? ¿Cuáles son las fuentes de información?
Flood Sung: Hay nuevos avances todos los días, principalmente en Twitter y GitHub, donde los geeks y científicos de todo el mundo suelen compartir las últimas novedades. Por ejemplo, Microsoft está incorporando modelos grandes en robots para controlar su comportamiento y explorar el espacio de manera casi ilimitada. Los principales canales son Twitter y GitHub, el lugar de encuentro para científicos y geeks.
Xia He: Bueno, las preguntas de hoy terminan aquí. ¡Gracias a Flood por su maravillosa presentación!
Flood Sung: ¡De nada, estoy muy feliz de aceptar la entrevista!