Meta lanza OPT, su propio modelo de lenguaje para competir con el GPT de OpenIA

 

GPT, el modelo de lenguaje de inteligencia artificial de OpenIA, ahora tienen un rival serio respaldado por una de las tecnológicas más importantes del mundo. Y es que Meta, anteriormente conocida como Facebook, ha liberado OPT (Open Pretrained Transformer, por sus siglas en inglés), su propio modelo de lenguaje con el que pretenden que la comunidad científica aplique soluciones de inteligencia artificial para impulsar sus investigaciones.

Según Meta, OPT fue entrenado con un volumen masivo de datos públicos que le permite «generar texto creativo, resolver problemas matemáticos básicos, responder preguntas de comprensión de lectura y más». La compañía dirigida por Mark Zuckerberg reconoce que, si bien existen otros modelos de lenguaje sumamente capaces, acceder a ellos implica pagar grandes sumas de dinero para utilizar sus API.

«Este acceso restringido ha limitado la capacidad de los investigadores para comprender cómo y por qué funcionan estos grandes modelos de lenguaje, lo que dificulta el progreso de los esfuerzos para mejorar su solidez y mitigar problemas conocidos como el sesgo y la toxicidad», agregan. OPT, sin embargo, será de uso gratuito; siempre y cuando no se use para un propósito comercial.

Meta quiere que la comunidad aprenda cómo funciona OPT

OPT presume ser un modelo de lenguaje con 175.000 millones de parámetros. El objetivo de Meta no es solo que la comunidad pueda aprovecharlo en distintos ámbitos, también que comprendan cómo funciona. Para cumplir su cometido, OPT incluye los modelos previamente entrenados y, además, el código necesario para llevar a cabo el proceso de entrenamiento.

Evidentemente, la liberación de una herramienta tan poderosa como OPT podría generar preocupación por su posible uso en una actividad indebida. Para evitarlo, Meta solo permitirá acceder al modelo bajo una licencia no comercial y estrictamente enfocada en temas de investigación. «Se otorgará acceso al modelo a investigadores académicos; aquellos afiliados a organizaciones en el gobierno, la sociedad civil y la académica; junto con laboratorios de investigación de la industria en todo el mundo», añaden.

Meta igualmente pretende que la comunidad especializada en la inteligencia artificial trabaje en conjunto para crear pautas sobre una IA y modelos de lenguaje responsables. «Un segmento mucho más amplio de la comunidad necesita acceso a estos modelos para realizar investigaciones e impulsar colectivamente el campo. Con el lanzamiento de OPT-175B y las líneas de base a menor escala, esperamos aumentar la diversidad de voces que definen las consideraciones éticas de tales tecnologías», comentan.

OPT también causa preocupación

Por supuesto, estamos ante un movimiento inédito en el sector de la inteligencia artificial. Es la primera vez que una compañía libera su modelo de lenguaje a cualquier investigador interesado en usarlo. En una publicación de MIT Technology Review, algunos profesionales del sector aplaudieron la acción de Meta. Pero, al mismo tiempo, expresaron su preocupación por distintos temas.

Margaret Mitchell, quien trabajó en Google como investigadora de ética de inteligencia artificial, cuestiona si OPT realmente fue probado lo suficiente como para prevenir problemas como la generación de información falsa y lenguaje racista. «Lanzar un modelo de lenguaje grande al mundo, donde es probable que una amplia audiencia lo use, o se vea afectado por su producción, conlleva responsabilidades.»

Mitchell considera que no solo hay que analizar los potenciales daños que puede provocar OPT por sí solo, sino también aquellas herramientas desarrolladas a partir de él. Por su parte, Emily M. Bender, experta en computación lingüística en la Universidad de Washington, cree que se debe poner atención en las tecnologías creadas a partir de OPT: «¿Para qué se utilizará el sistema? ¿Quién lo utilizará y cómo se presentarán los resultados del mismo?»

Pese a sus inquietudes, coinciden en que Meta debe ser transparente con OPT para poder transmitir confianza a la comunidad de la inteligencia artificial.

Mientras OPT se abre paso entre la comunidad científica, OpenIA, empresa cofundada por Elon Musk, sigue a lo suyo. Apenas en noviembre de 2021 liberaron la API de GPT-3 para que cualquier desarrollador pueda implementarla. Eso sí, antes de hacerlo hicieron modificaciones importantes en sus normas para prevenir el uso de GPT-3 en «contenidos violentos, políticos, de odio, o de adultos, entre otros.» Esto se debe a que, por el momento, la API no tiene la capacidad de diferenciar cuando un contenido es dañino o no.