El denunciante plantea preocupaciones sobre el giro hacia la ganancia de OpenAI, advirtiendo de posibles esquinas cortas en seguridad y riesgos para la gobernanza de las decisiones de seguridad del AI.

OpenAI planea convertirse en una compañía de lucro podría animar al inicio empresarial de inteligencia artificial a recortar esquinas sobre la seguridad, ha dicho un denunciante. OpenAI se fundó como una entidad sin fines de lucro y su carta compromete el inicio con la construcción de una inteligencia general artificial AGI que describe como sistemas que son más inteligentes en general que los humanos que benefician a toda la humanidad. El potencial poder de un sistema AGI ha alarmado expertos y practicantes ante temores de que la carrera competitiva para construir tal tecnología podría llevar a que las preocupaciones por la seguridad sean superadas. Un cambio a una entidad de lucro podría socavar los fines del esquema en su lugar, bajo el cual OpenAI tiene un ente de lucro que limita devoluciones a inversores y empleados. Todo beneficio generado por encima de esa cuota se devuelve al sin fines de lucro para el beneficio de la humanidad. Este cambio podría crear más incentivo para correr y recortar esquinas si el consejo sin fines de lucro ya no está bajo control de las decisiones sobre seguridad y el CEO tiene una participación significativa de acciones.

William Saunders, un ex ingeniero de investigación en OpenAI, expresó preocupaciones sobre la transición de la empresa desde una entidad sin fines de lucro a una estructura rentable. Argumentó que esta transformación podría llevar a medidas de seguridad comprometidas en el desarrollo de inteligencia artificial. Saunders señaló que la misión original de OpenAI estaba centrada en crear un intelecto general beneficioso (AGI) y su compromiso con el bienestar humano. Sin embargo, temió que la carrera competitiva para desarrollar AGI se priorizara sobre garantizar seguridad si se introducían motivos de lucro. Sus aprensiones surgen de su experiencia trabajando en el equipo de superalineación de OpenAI, que buscaba alinear sistemas de inteligencia artificial poderosos con valores humanos. La principal preocupación de Saunders es cómo esta transformación en la gobernanza podría influir en las decisiones referentes al desarrollo de AGI. Advirtió que con Sam Altman potencialmente teniendo una significativa participación accionaria y ya no estando sujeto a revisión por un consejo sin fines de lucro, habría más incentivos para que OpenAI acelerara el proceso a expensas de la seguridad. La estructura original de OpenAI implicaba limitar ganancias para inversores y empleados, con los excedentes beneficiando a la humanidad a través de su brazo sin fines de lucro. Saunders creía que este enfoque aseguraba la responsabilidad en caso de que su tecnología condujera al desempleo significativo o otros problemas sociales. Sin embargo, una transición completa a una entidad puramente rentable puede no priorizar la distribución de los beneficios hacia la sociedad. El estatuto de OpenAI destaca su compromiso con hacer que AGI sea seguro y la empresa ha tomado medidas para fortalecer las medidas de seguridad al establecer un comité de seguridad independiente. Los planes de reestructuración informados incluyen transformar a OpenAI en una corporación de beneficio público que aún busca tener un impacto positivo social, a pesar de ser rentable. En respuesta a las preocupaciones expresadas, Bret Taylor, presidente del consejo de OpenAI, mencionó discusiones sobre otorgar participaciones accionarias a Altman, pero no se habían concretado cifras ni decisiones específicas.

Una estructura de compañía a beneficio podría llevar a medidas de seguridad comprometidas en el desarrollo de la IA, poniendo en peligro los objetivos de crear AGI que beneficie a la humanidad. Esto suscita preocupaciones sobre la distribución de ganancias y el potencial de priorizar intereses corporativos sobre el bienestar social.