Aunque los legisladores y defensores propusieron docenas de proyectos de ley para regular la inteligencia artificial en California este año, ninguno ha atraído más desdén de las grandes empresas de tecnología, fundadores de startups e inversores que la Ley de Innovación Segura y Segura para Modelos de Inteligencia Artificial Fronteriza.

En cartas a los legisladores, Meta dijo que la legislación, Senate Bill 1047, “deteriorará la innovación de IA en California en un momento en el que deberíamos estar promoviéndola”, mientras que Google afirmó que la ley hará que “California sea una de las jurisdicciones menos favorables del mundo para el desarrollo y despliegue de IA”. Una carta firmada por más de 130 fundadores de startups y la incubadora Y Combinator va aún más allá, afirmando que el “lenguaje vago” podría “matar la tecnología en California”.

Destacados investigadores de IA también están tomando partido. La semana pasada, Yoshua Bengio y el ex investigador de IA de Google Geoffrey Hinton, a veces llamados los “padrinos de la IA”, apoyaron el proyecto de ley. La profesora de Stanford y ex científica jefe de IA de Google Cloud Fei-Fei Li, a menudo llamada la “madrina de la IA”, se pronunció en contra del SB 1047.

El proyecto de ley, aprobado 32-1 por el Senado del estado en mayo, debe sobrevivir al archivo de suspense de Apropiaciones de la Asamblea este jueves y obtener la aprobación final antes del 31 de agosto para llegar al gobernador Gavin Newsom este año.

El proyecto de ley, presentado por el demócrata de San Francisco Scott Wiener en febrero, es extenso. Haría lo siguiente:

• Requerir a los desarrolladores de las herramientas de IA más costosas y potentes probar si pueden habilitar ataques a la infraestructura pública, ataques cibernéticos altamente dañinos o eventos que causen numerosas víctimas; o podrían ayudar a crear armas químicas, biológicas, radiactivas o nucleares.
• Establecer CalCompute, un “cloud” público de computadoras compartidas que podrían utilizarse para ayudar a construir y alojar herramientas de IA, ofrecer una alternativa a las pocas empresas tecnológicas que ofrecen servicios de computación en la nube, realizar investigaciones sobre lo que el proyecto de ley llama “el despliegue seguro y seguro de modelos de inteligencia artificial a gran escala” y fomentar el desarrollo equitativo de la tecnología.
• Proteger a los informantes en empresas que están construyendo formas avanzadas de IA y a los contratistas de esas empresas.

Estas últimas protecciones son algunas de las razones por las que el informante y ex empleado de OpenAI Daniel Kokotajlo apoya el SB 1047, le dijo a CalMatters. También le gusta que da pasos hacia una mayor transparencia y gobernanza democrática en torno a la inteligencia artificial, una tecnología que describe como “completamente no regulada”.

Este año, Kokotajlo renunció a su cargo de investigador de gobernanza en OpenAI, la empresa con sede en San Francisco detrás de la popular herramienta ChatGPT. Poco después, hizo públicas acusaciones de que presenció una violación de los protocolos de seguridad internos de la empresa. OpenAI estaba “corriendo imprudentemente” hacia su declarado objetivo de crear inteligencia artificial que supera la inteligencia humana, Koktajlo dijo al New York Times. Kokotajlo también cree que una IA avanzada podría contribuir a la extinción de la humanidad, y que los empleados que desarrollan esa tecnología están en la mejor posición para impedirlo.

En junio, Kokotajlo se unió a más de una docena de empleados actuales y antiguos de OpenAI y Google en pedir una mayor protección para los informantes de IA. Esos trabajadores no fueron los primeros en hacerlo; empleados de Google hablaron en 2021 después de que se despidiera a los líderes del equipo de IA Ética. Ese mismo año, Ifeyoma Ozoma, la autora de un manual para informantes tecnológicos y ex empleada de Instagram, copatrocinó la Ley Silenced No More de California, una ley estatal aprobada en 2022 que otorga a los trabajadores el derecho de hablar sobre discriminación y acoso aunque hayan firmado un acuerdo de confidencialidad.

Kokotajlo dijo que cree que, de haber estado en vigor el SB 1047, hubiera prevenido o llevado a un empleado a reportar prontamente la violación de seguridad que dijo haber presenciado en 2022, que implicó la implementación temprana de un modelo de OpenAI por parte de Microsoft para unos pocos miles de usuarios en India sin aprobación.

“Creo que cuando la situación se pone difícil y hay mucho dinero, poder y reputación en juego, las cosas se están moviendo muy rápido con modelos nuevos y poderosos,” dijo a CalMatters. “No creo que la empresa deba ser confiable para seguir sus propios procedimientos adecuadamente”.

Cuando le preguntaron sobre los comentarios de Kokotajlo y el trato de OpenAI a los denunciantes, la portavoz de OpenAI, Liz Bourgeois, dijo que la política de la empresa protege los derechos de los empleados para plantear problemas.

La ley existente principalmente protege a los denunciantes de represalias en casos que involucran la violación de la ley estatal, pero la SB 1047 protegería a empleados como Kokotajlo al darles el derecho de informar al fiscal general o al comisionado de trabajo sobre cualquier modelo de inteligencia artificial que sea capaz de causar daños críticos. La ley también impide que los empleadores bloqueen la divulgación de información relacionada.

Las protecciones a los denunciantes en la SB 1047 se ampliaron siguiendo una recomendación del comité de Privacidad y Protección al Consumidor de la Asamblea en junio. Esa recomendación llegó poco después de la carta de trabajadores de Google y OpenAI, después de que OpenAI disolviera un comité de seguridad y protección, y después de que Vox reportara que OpenAI obligaba a las personas que dejaban la empresa a firmar acuerdos de no difamación o renunciar a opciones de acciones que valían hasta millones de dólares. Las protecciones abordan una preocupación de la carta de que las protecciones existentes para los denunciantes son insuficientes “porque se centran en actividades ilegales, mientras que muchos de los riesgos que nos preocupan todavía no están regulados”.

“Los empleados deben poder informar de prácticas peligrosas sin temor a represalias.”
— Asambleísta Rebecca Bauer-Kahan, Demócrata de San Ramón

La portavoz de OpenAI, Hannah Wong, dijo que la empresa eliminó términos de no difamación que afectan a los empleados que se van. A pesar de estos cambios, el mes pasado un grupo de ex empleados de OpenAI urgieron a la Comisión de Bolsa y Valores a investigar los acuerdos de no divulgación en la empresa como posibles violaciones de una orden ejecutiva firmada por el Presidente Joe Biden el año pasado para reducir los riesgos planteados por la inteligencia artificial.

La demócrata del Área de la Bahía, Rebecca Bauer-Kahan, quien lidera el Comité de Privacidad y Protección al Consumidor de la Asamblea, dijo que ayudó a añadir las protecciones para los denunciantes a la SB 1047 porque personas de la industria han informado de sentirse amordazadas por acuerdos punitivos de no divulgación, incluso cuando más de ellos hablan sobre problemas con la inteligencia artificial.

“Si los californianos van a sentirse cómodos interactuando con estas tecnologías novedosas, los empleados deben poder informar de prácticas peligrosas sin temor a represalias,” dijo en un comunicado escrito. “Las protecciones que el gobierno proporciona no deberían limitarse a los riesgos conocidos de la IA avanzada, ya que estos sistemas pueden ser capaces de causar daños que aún no podemos predecir”.

La industria dice que el proyecto de ley pone en peligro el código abierto y las nuevas empresas

Por más críticos que hayan sido al oponerse a la SB 1047, los gigantes tecnológicos han dicho poco sobre las protecciones para denunciantes del proyecto de ley, incluso en largas cartas que Meta, Microsoft y Google enviaron a los legisladores. Google se negó a comentar sobre esas disposiciones, mientras que Meta se negó a hacer que el líder de política pública de California, Kevin McKinley, esté disponible para comentar. OpenAI señaló a un comentario previo de Bourgeois que afirmó: “Creemos que el debate riguroso sobre esta tecnología es esencial. La política de denunciantes de OpenAI protege los derechos de los empleados para plantear problemas, incluso a cualquier agencia gubernamental nacional, federal, estatal o local.”

En lugar de eso, los oponentes han destacado los requisitos de pruebas de IA del proyecto de ley y otras disposiciones de seguridad, diciendo que los costos de cumplimiento podrían impedir la entrada en el mercado de nuevas empresas y otras pequeñas empresas. Esto perjudicaría a la economía estatal, añaden, ya que California es un centro de la industria de la IA. El proyecto de ley, sin embargo, limita sus restricciones de IA a sistemas que cuesten más de $100 millones, o que requieran más de una cierta cantidad de potencia informática para entrenar. Los partidarios dicen que la gran mayoría de las nuevas empresas no estarán cubiertas por el proyecto de ley.

Los oponentes argumentan que las pequeñas empresas seguirían sufriendo porque el SB 1047 tendría un efecto disuasorio sobre las personas y grupos que liberan modelos y herramientas de IA de forma gratuita al público como software de código abierto. Este tipo de software es utilizado ampliamente por startups, lo que mantiene los costos bajos y les proporciona una base sobre la que construir nuevas herramientas. Meta ha argumentado que los desarrolladores de software de IA serán menos propensos a liberarlo como código abierto por miedo a ser responsables de todas las formas en que su código pueda ser utilizado por otros.

“Si regulamos en exceso, si nos entregamos en exceso y perseguimos un objeto brillante, podemos ponernos en una posición peligrosa.”
— Gov. Gavin Newsom

El software de código abierto tiene una larga historia en California y ha desempeñado un papel central en el desarrollo de la IA. En 2018, Google liberó como código abierto su influyente “BERT”, un modelo de IA que sentó las bases para grandes modelos de lenguaje como el que hay detrás de ChatGPT y que desató una carrera de IA entre empresas como Google, Microsoft y Nvidia. Otras herramientas de software de código abierto también han desempeñado roles importantes en la difusión de la IA, como Apache Spark, que ayuda a distribuir tareas informáticas en varias máquinas, y TensorFlow de Google y PyTorch de Meta, que permiten a los desarrolladores incorporar técnicas de aprendizaje automático en su software.

Meta ha ido más allá de sus competidores al liberar el código fuente de su propio gran modelo de lenguaje, Llama, que ha sido descargado más de 300 millones de veces. En una carta enviada a Wiener en junio, el subdirector de privacidad de Meta, Rob Sherman, argumentó que el proyecto de ley “desalentaría la innovación en IA en California en un momento en que deberíamos estar promoviéndola” y desalentaría la liberación de modelos de código abierto como Llama.

Ion Stoica es profesor en la Universidad de California, Berkeley y cofundador de Databricks, una empresa de IA basada en Apache Spark. Si el SB 1047 se aprueba, predice que en un año los modelos de código abierto de ultramar, probablemente de China, superarán a los creados en Estados Unidos. Tres de los seis mejores modelos de código abierto disponibles hoy en día provienen de China, según el método de evaluación de Chatbot Arena que Stoica ayudó a diseñar.

Los defensores del código abierto también expresaron su oposición al SB 1047 en una asamblea pública organizada con Wiener en GitHub, un repositorio de código abierto propiedad de Microsoft, y un simposio de IA generativa celebrado en mayo.

Newsom, que no ha tomado una posición sobre la legislación, dijo a la audiencia que es importante responder a inventores de IA como Geoffrey Hinton que insisten en la necesidad de regulación, pero también dijo que quiere que California siga siendo un líder en IA y aconsejó a los legisladores no excederse. “Si regulamos en exceso, si nos entregamos en exceso y perseguimos un objeto brillante, podemos ponernos en una posición peligrosa,” dijo el gobernador. “Al mismo tiempo tenemos la obligación de liderar.”

Con el objetivo de proteger a los trabajadores de la tecnología y a la sociedad

Sunny Gandhi, vicepresidente de asuntos gubernamentales en Encode Justice, una organización sin fines de lucro centrada en involucrar a los jóvenes en la lucha contra los daños producidos por la IA y copatrocinadora del proyecto de ley, dijo que ha provocado una reacción violenta porque las empresas tecnológicas no están acostumbradas a ser responsables de los efectos de sus productos

“Es muy diferente y aterrador para ellos que ahora estén siendo mantenidos a los mismos estándares que prácticamente todos los demás productos en América”, dijo Ghandi. “Hay disposiciones de responsabilidad allí, y la responsabilidad es ajena para la tecnología. Eso es lo que les preocupa.”

Wiener ha refutado algunas críticas a su proyecto de ley, incluida una afirmación, en una carta difundida por la incubadora de startups Y Combinator y firmada por más de 130 fundadores de startups, de que la legislación podría enviar a los desarrolladores de software “a la cárcel simplemente por no anticipar el mal uso de su software”. Esa afirmación surgió del hecho de que el proyecto de ley requiere que los creadores de modelos de lenguaje suficientemente grandes presenten sus resultados de pruebas al estado y los hace culpables de perjurio si mienten sobre el diseño o las pruebas de un modelo de IA.

“Es muy diferente y aterrador para ellos que ahora se les apliquen los mismos estándares que prácticamente tienen todos los demás productos en Estados Unidos.”
— Sunny Gandhi, vicepresidente de asuntos gubernamentales en Encode Justice

Wiener dijo que su oficina comenzó a escuchar a miembros de la comunidad tecnológica el otoño pasado antes de que se presentara el proyecto de ley y realizó una serie de enmiendas para garantizar que la ley solo se aplique a los principales laboratorios de IA. Ahora es el momento de actuar, les dijo a los fundadores de startups, “porque no tengo ninguna confianza en que el gobierno federal vaya a actuar” para regular la IA.

En el último año, los principales laboratorios de IA se comprometieron con pruebas y seguridad con la Casa Blanca y en reuniones internacionales en el Reino Unido, Alemania y Corea del Sur, pero esos acuerdos son voluntarios. El presidente Biden ha pedido al Congreso que regule la inteligencia artificial, pero aún no lo ha hecho.

Wiener también dijo que el proyecto de ley es importante porque el Partido Republicano prometió, en la plataforma que adoptó el mes pasado, revocar la orden ejecutiva de Biden, argumentando que la orden sofoca la innovación.

En audiencias legislativas, Wiener ha dicho que es importante exigir el cumplimiento porque “no sabemos quién dirigirá estas empresas en un año o cinco años y qué tipo de presiones de beneficio enfrentarán esas empresas en ese momento”.

La compañía de IA Anthropic, con sede en San Francisco, apoyó el proyecto de ley si se realizan una serie de enmiendas, incluida la eliminación de una entidad gubernamental llamada Frontier Models Division. Esa división, que revisaría las certificaciones de los desarrolladores, establecería un proceso de acreditación para quienes auditen la IA y emitiría orientación sobre cómo limitar los daños causados ​​por la IA avanzada. Wiener dijo a la audiencia de Y Combinator que estaría dispuesto a eliminar la división.

Kokotajlo, el informante, califica al SB 1047 como un paso en la dirección correcta y no suficiente para prevenir los posibles daños de la IA. Él y los otros firmantes de la carta de junio pidieron a las empresas que desarrollan IA que creen sus propios procesos mediante los cuales los empleados actuales y anteriores podrían informar de manera anónima a organizaciones independientes con la experiencia para verificar si la preocupación es justificada o no.

“A veces, las personas preocupadas resultarán estar equivocadas, y a veces, creo que las personas preocupadas resultarán tener razón”, dijo.

En sus comentarios en Y Combinator el mes pasado, Wiener agradeció a los miembros de las comunidades de código abierto e IA por compartir críticas sobre el proyecto de ley que llevaron a enmiendas, pero también instó a las personas a recordar lo que sucedió cuando California aprobó la ley de privacidad en 2018 después de años de inacción por parte del gobierno federal.

“Mucha gente en el mundo tecnológico se oponía a ese proyecto de ley y nos decía que todos se irían de California si lo aprobábamos. Lo aprobamos. Eso no sucedió, y establecimos un estándar que creo que fue realmente poderoso.”

###

CalMatters.org es una empresa periodística sin fines de lucro y sin afiliación partidista que explica las políticas y la política de California.