A OpenAI está expandindo seus processos internos de segurança para afastar a ameaça de IA prejudicial, a empresa acha que a tecnologia pode abrir portas para indivíduos mal-intencionados desenvolverem armas químicas e biológicas. Um novo time de segurança ficará acima das equipes técnicas e fará recomendações à liderança e o conselho poderá vetar avanços da IA se achar necessário.
Acesse aqui e responda ao Censo Investidores 2023! Queremos ouvir você!
A equipe será liderada pelo professor de IA do MIT Aleksander Madry e contratará pesquisadores, cientistas da computação, especialistas em segurança nacional e profissionais de políticas para monitorar e testar constantemente a tecnologia. E caso encontrem algo suspeito, avisarão a empresa.
“Temos várias equipes de segurança e política trabalhando juntas para mitigar os riscos da IA. Nossa equipe de Sistemas de Segurança se concentra em mitigar o uso indevido de modelos e produtos atuais, como o ChatGPT. O superalinhamento constrói as bases para a segurança de modelos superinteligentes que (esperamos) ter em um futuro mais distante. A equipe de Preparação mapeia os riscos emergentes dos modelos de fronteira e se conecta aos Sistemas de Segurança, Superalinhamento e nossas outras equipes de segurança e política em toda a OpenAI”, afirma a empresa.
A OpenAI diz que irá avaliar todos os seus modelos de fronteira, inclusive a cada aumento efetivo de computação de 2x durante as execuções de treinamento. Irá levar os modelos aos seus limites. Para ajudar a avaliar os riscos dos modelos de fronteira e medir a eficácia de quaisquer mitigações propostas. O objetivo é sondar as bordas específicas do que não é seguro para mitigar efetivamente os riscos revelados. Para rastrear os níveis de segurança dos modelos, a empresa produz “scorecards” de risco e relatórios detalhados.
Exemplo de uma avaliação dos riscos de um modelo através da rubrica do OpenAI. Créditos da Imagem: OpenAI
“Definimos limites para níveis de risco ao longo das seguintes categorias iniciais rastreadas – segurança cibernética, CBRN (ameaças químicas, biológicas, radiológicas, nucleares), persuasão e autonomia do modelo. Especificamos quatro níveis de risco de segurança, e apenas modelos com uma pontuação pós-mitigação de ‘média’ ou abaixo podem ser implantados; apenas modelos com uma pontuação pós-mitigação de ‘alta’ ou abaixo podem ser desenvolvidos ainda mais. Também implementaremos medidas de segurança adicionais adaptadas a modelos com níveis de risco altos ou críticos (pré-mitigação)”, completa a empresa.
Acesse aqui e saiba como você e o Startupi podem se tornar parceiros para impulsionar seus esforços de comunicação. Startupi – Jornalismo para quem lidera a inovação.
