Capa de confianza en IA: una nueva solución para abordar los sesgos y alucinaciones de la inteligencia artificial
Recientemente, una versión beta pública en línea llamada Mira ha llamado la atención en la industria. El objetivo de este proyecto es construir una capa de confianza para la inteligencia artificial, con el fin de abordar los problemas de sesgo y "alucinaciones" presentes en los sistemas de IA. Entonces, ¿por qué necesita la IA ser confiable? ¿Y cómo enfrenta Mira este desafío?
Al discutir la IA, las personas a menudo se centran más en su poderosa capacidad. Sin embargo, el hecho de que la IA presente "alucinaciones" o sesgos a menudo se pasa por alto. Lo que se llama "alucinación" de la IA, en términos simples, significa que a veces la IA "inventa" cosas y da información incorrecta con confianza. Por ejemplo, cuando se le pregunta por qué la luna es rosa, la IA podría ofrecer una explicación que parece razonable pero que es completamente ficticia.
Este fenómeno está relacionado con la trayectoria actual de la tecnología de IA. La IA generativa logra coherencia y razonabilidad al predecir el contenido "más probable", pero este método es difícil de verificar en términos de verdad. Además, los propios datos de entrenamiento pueden contener errores, sesgos e incluso contenido ficticio, lo que puede afectar la calidad de la salida de la IA. En otras palabras, la IA aprende los patrones del lenguaje humano, no los hechos en sí.
El mecanismo de generación de probabilidades actual y el modelo impulsado por datos casi inevitablemente conducen a que la IA produzca "ilusiones". Aunque en el contenido de conocimiento general o entretenimiento, este problema puede no causar consecuencias graves de inmediato, en campos que requieren una alta precisión como la medicina, el derecho, la aviación y las finanzas, las salidas erróneas de la IA pueden tener un impacto significativo. Por lo tanto, abordar el problema de las ilusiones y sesgos de la IA se ha convertido en uno de los temas centrales en el proceso de desarrollo de la IA.
El proyecto Mira se dedica a resolver este problema. Intenta reducir los sesgos y las alucinaciones mediante la construcción de una capa de confianza para la IA, mejorando así la fiabilidad de la IA. La idea central de Mira es utilizar el consenso de múltiples modelos de IA para validar las salidas de la IA. Esta red de validación aprovecha un mecanismo de consenso descentralizado, combinando la colaboración de múltiples modelos, a través de un modo de validación colectiva para disminuir la ocurrencia de sesgos y alucinaciones.
En términos de arquitectura de verificación, el protocolo Mira admite la conversión de contenido complejo en declaraciones que pueden ser verificadas de forma independiente. Los operadores de nodos participan en la verificación de estas declaraciones, y para garantizar la honestidad de los operadores de nodos, el sistema utiliza un mecanismo de incentivos y penalizaciones en la economía criptográfica. Diferentes modelos de IA y operadores de nodos descentralizados participan conjuntamente para asegurar la confiabilidad de los resultados de la verificación.
La arquitectura de red de Mira incluye tres etapas clave: la conversión de contenido, la validación distribuida y el mecanismo de consenso. Primero, el sistema descompone el contenido candidato presentado por el cliente en diferentes declaraciones verificables, las cuales se distribuyen a los nodos para su validación. Después de que los nodos determinan la validez de las declaraciones, se resumen los resultados para alcanzar un consenso y, por último, se devuelven los resultados al cliente. Para proteger la privacidad del cliente, las declaraciones se distribuyen a diferentes nodos de forma aleatoria en fragmentos, evitando así la divulgación de información durante el proceso de validación.
Los operadores de nodos obtienen ingresos al ejecutar modelos de validadores, procesar declaraciones y enviar resultados de validación. Estos ingresos provienen del valor creado para los clientes, especialmente en la reducción de la tasa de errores de IA en áreas críticas. Para prevenir comportamientos especulativos de respuesta aleatoria de nodos, el sistema penaliza a los nodos que se desvían continuamente del consenso, asegurando la participación honesta de los operadores de nodos en la validación a través de un juego de mecanismos económicos.
En general, Mira ofrece un nuevo enfoque para mejorar la confiabilidad de la IA. Al construir una red de verificación de consenso descentralizada basada en múltiples modelos de IA, Mira tiene como objetivo brindar una mayor confiabilidad a los servicios de IA de los clientes, reducir sesgos y alucinaciones de la IA, y satisfacer la demanda de alta precisión y exactitud. Esta innovación tiene el potencial de impulsar el desarrollo profundo de aplicaciones de IA y allanar el camino para la construcción de sistemas de IA confiables.
Actualmente, Mira ha establecido colaboraciones con varios marcos de IA reconocidos. Con el lanzamiento de la red de pruebas públicas, los usuarios pueden experimentar salidas de IA verificadas a través de Klok (una aplicación de chat LLM basada en Mira) y tener la oportunidad de ganar puntos Mira. Esto proporciona una plataforma de prueba práctica para mejorar la credibilidad de la IA en el futuro.
Ver originales
Esta página puede contener contenido de terceros, que se proporciona únicamente con fines informativos (sin garantías ni declaraciones) y no debe considerarse como un respaldo por parte de Gate a las opiniones expresadas ni como asesoramiento financiero o profesional. Consulte el Descargo de responsabilidad para obtener más detalles.
14 me gusta
Recompensa
14
6
Compartir
Comentar
0/400
EthSandwichHero
· hace18h
¿Quién me fríe un moneda sándwich?
Ver originalesResponder0
CryptoPhoenix
· hace18h
La IA genera confianza, el Bitcoin es realmente la base de la confianza.
Ver originalesResponder0
TheShibaWhisperer
· hace18h
¿Quién dice que la IA tiene que decir la verdad?
Ver originalesResponder0
LayerHopper
· hace18h
Ahora la IA finalmente se ha comportado.
Ver originalesResponder0
TopEscapeArtist
· hace19h
Ja, ya ha llegado al fondo, ¿verdad? Otra vez es una Crisis de confianza, es tan ilusorio como las velas de ese período.
Ver originalesResponder0
RektRecovery
· hace19h
simplemente otra capa de teatro de seguridad... vi esto venir a millas de distancia, para ser honesto
El proyecto Mira lanza la capa de confianza de IA para crear un ecosistema de inteligencia artificial verificable
Capa de confianza en IA: una nueva solución para abordar los sesgos y alucinaciones de la inteligencia artificial
Recientemente, una versión beta pública en línea llamada Mira ha llamado la atención en la industria. El objetivo de este proyecto es construir una capa de confianza para la inteligencia artificial, con el fin de abordar los problemas de sesgo y "alucinaciones" presentes en los sistemas de IA. Entonces, ¿por qué necesita la IA ser confiable? ¿Y cómo enfrenta Mira este desafío?
Al discutir la IA, las personas a menudo se centran más en su poderosa capacidad. Sin embargo, el hecho de que la IA presente "alucinaciones" o sesgos a menudo se pasa por alto. Lo que se llama "alucinación" de la IA, en términos simples, significa que a veces la IA "inventa" cosas y da información incorrecta con confianza. Por ejemplo, cuando se le pregunta por qué la luna es rosa, la IA podría ofrecer una explicación que parece razonable pero que es completamente ficticia.
Este fenómeno está relacionado con la trayectoria actual de la tecnología de IA. La IA generativa logra coherencia y razonabilidad al predecir el contenido "más probable", pero este método es difícil de verificar en términos de verdad. Además, los propios datos de entrenamiento pueden contener errores, sesgos e incluso contenido ficticio, lo que puede afectar la calidad de la salida de la IA. En otras palabras, la IA aprende los patrones del lenguaje humano, no los hechos en sí.
El mecanismo de generación de probabilidades actual y el modelo impulsado por datos casi inevitablemente conducen a que la IA produzca "ilusiones". Aunque en el contenido de conocimiento general o entretenimiento, este problema puede no causar consecuencias graves de inmediato, en campos que requieren una alta precisión como la medicina, el derecho, la aviación y las finanzas, las salidas erróneas de la IA pueden tener un impacto significativo. Por lo tanto, abordar el problema de las ilusiones y sesgos de la IA se ha convertido en uno de los temas centrales en el proceso de desarrollo de la IA.
El proyecto Mira se dedica a resolver este problema. Intenta reducir los sesgos y las alucinaciones mediante la construcción de una capa de confianza para la IA, mejorando así la fiabilidad de la IA. La idea central de Mira es utilizar el consenso de múltiples modelos de IA para validar las salidas de la IA. Esta red de validación aprovecha un mecanismo de consenso descentralizado, combinando la colaboración de múltiples modelos, a través de un modo de validación colectiva para disminuir la ocurrencia de sesgos y alucinaciones.
En términos de arquitectura de verificación, el protocolo Mira admite la conversión de contenido complejo en declaraciones que pueden ser verificadas de forma independiente. Los operadores de nodos participan en la verificación de estas declaraciones, y para garantizar la honestidad de los operadores de nodos, el sistema utiliza un mecanismo de incentivos y penalizaciones en la economía criptográfica. Diferentes modelos de IA y operadores de nodos descentralizados participan conjuntamente para asegurar la confiabilidad de los resultados de la verificación.
La arquitectura de red de Mira incluye tres etapas clave: la conversión de contenido, la validación distribuida y el mecanismo de consenso. Primero, el sistema descompone el contenido candidato presentado por el cliente en diferentes declaraciones verificables, las cuales se distribuyen a los nodos para su validación. Después de que los nodos determinan la validez de las declaraciones, se resumen los resultados para alcanzar un consenso y, por último, se devuelven los resultados al cliente. Para proteger la privacidad del cliente, las declaraciones se distribuyen a diferentes nodos de forma aleatoria en fragmentos, evitando así la divulgación de información durante el proceso de validación.
Los operadores de nodos obtienen ingresos al ejecutar modelos de validadores, procesar declaraciones y enviar resultados de validación. Estos ingresos provienen del valor creado para los clientes, especialmente en la reducción de la tasa de errores de IA en áreas críticas. Para prevenir comportamientos especulativos de respuesta aleatoria de nodos, el sistema penaliza a los nodos que se desvían continuamente del consenso, asegurando la participación honesta de los operadores de nodos en la validación a través de un juego de mecanismos económicos.
En general, Mira ofrece un nuevo enfoque para mejorar la confiabilidad de la IA. Al construir una red de verificación de consenso descentralizada basada en múltiples modelos de IA, Mira tiene como objetivo brindar una mayor confiabilidad a los servicios de IA de los clientes, reducir sesgos y alucinaciones de la IA, y satisfacer la demanda de alta precisión y exactitud. Esta innovación tiene el potencial de impulsar el desarrollo profundo de aplicaciones de IA y allanar el camino para la construcción de sistemas de IA confiables.
Actualmente, Mira ha establecido colaboraciones con varios marcos de IA reconocidos. Con el lanzamiento de la red de pruebas públicas, los usuarios pueden experimentar salidas de IA verificadas a través de Klok (una aplicación de chat LLM basada en Mira) y tener la oportunidad de ganar puntos Mira. Esto proporciona una plataforma de prueba práctica para mejorar la credibilidad de la IA en el futuro.