@portalmigalhas<\/a><\/b> | O STJ investigar\u00e1 tentativas de uso de “prompt injection”<\/b> em peti\u00e7\u00f5es do acervo processual. A t\u00e9cnica consiste na inser\u00e7\u00e3o de comandos ocultos em documentos com o objetivo de interferir no funcionamento de sistemas de intelig\u00eancia artificial.<\/p>\nSegundo a Corte da Cidadania, as ocorr\u00eancias foram identificadas nas \u00faltimas semanas e neutralizadas pelas camadas de seguran\u00e7a do STJ Logos, sistema de IA generativa desenvolvido pelo Tribunal.<\/p>\n
O presidente do STJ, ministro Herman Benjamin, afirmou que os casos ser\u00e3o apurados e destacou que a ferramenta j\u00e1 conta com mecanismos espec\u00edficos para impedir esse tipo de manipula\u00e7\u00e3o.<\/p>\n
“Estamos mapeando todas as tentativas de prompt injection para permitir a aplica\u00e7\u00e3o de san\u00e7\u00f5es processuais e a devida apura\u00e7\u00e3o de responsabilidade administrativa e criminal dos envolvidos”<\/b>, declarou o ministro.<\/p>\n
A pr\u00e1tica ganhou repercuss\u00e3o no meio jur\u00eddico no in\u00edcio de maio, ap\u00f3s relatos de tentativa de fraude processual na Justi\u00e7a do Trabalho, no \u00e2mbito do TRT da 8\u00aa regi\u00e3o.<\/p>\n
Prompt injection<\/h2>\n
O prompt injection \u00e9 uma t\u00e9cnica usada para tentar enganar modelos de intelig\u00eancia artificial, especialmente grandes modelos de linguagem, conhecidos como LLMs. Na pr\u00e1tica, comandos s\u00e3o inseridos em textos aparentemente comuns, como peti\u00e7\u00f5es, recursos ou documentos processuais. Essas instru\u00e7\u00f5es podem ser ocultadas de forma a n\u00e3o serem percebidas facilmente por uma pessoa, mas ainda assim serem lidas pela IA.<\/p>\n
O objetivo \u00e9 tentar fazer com que o sistema ignore suas regras originais ou produza respostas favor\u00e1veis a uma das partes.<\/p>\n
Certifica\u00e7\u00e3o nos autos<\/h2>\n
Al\u00e9m das medidas tecnol\u00f3gicas, a Presid\u00eancia do STJ determinou que as tentativas de uso de prompt injection sejam certificadas nos autos. Com isso, ministros e ministras poder\u00e3o avaliar a aplica\u00e7\u00e3o de eventuais san\u00e7\u00f5es processuais aos respons\u00e1veis.<\/p>\n
Tamb\u00e9m foi determinada a instaura\u00e7\u00e3o de inqu\u00e9rito policial e de procedimento administrativo para apurar os fatos. A medida prev\u00ea a oitiva de advogados e escrit\u00f3rios envolvidos, com possibilidade de responsabiliza\u00e7\u00e3o nas esferas criminal e correicional.<\/p>\n
Camadas de prote\u00e7\u00e3o<\/h2>\n
De acordo com o Tribunal, o STJ Logos foi estruturado com diferentes n\u00edveis de seguran\u00e7a para impedir que comandos maliciosos inseridos em peti\u00e7\u00f5es ou em outros documentos sejam executados pela IA.<\/p>\n
A primeira camada atua no pr\u00e9-processamento do conte\u00fado, separando as instru\u00e7\u00f5es leg\u00edtimas dos dados externos recebidos pelo sistema. O objetivo \u00e9 isolar poss\u00edveis comandos ocultos antes que eles cheguem ao modelo de IA.<\/p>\n
Em seguida, a ferramenta estabelece limites de contexto, de modo a impedir que instru\u00e7\u00f5es externas se sobreponham \u00e0s regras principais do sistema. Por fim, h\u00e1 uma etapa de revis\u00e3o da resposta gerada, destinada a verificar se o resultado est\u00e1 de acordo com as pol\u00edticas de seguran\u00e7a e integridade definidas pelo Tribunal.<\/p>\n
O STJ informou que a seguran\u00e7a dos processos \u00e9 uma das prioridades desde o desenvolvimento dos sistemas de intelig\u00eancia artificial que levaram ao lan\u00e7amento do STJ Logos, em fevereiro de 2025.<\/p>\n
Informa\u00e7\u00f5es: STJ.<\/i><\/p>\n
Fonte: <\/a><\/b><\/p>\n<\/div>\n<\/div>\n
![<\/a><\/div>\nVia @portalmigalhas<\/a><\/b> | O STJ investigar\u00e1 tentativas de uso de “prompt injection”<\/b> em peti\u00e7\u00f5es do acervo processual. A t\u00e9cnica consiste na inser\u00e7\u00e3o de comandos ocultos em documentos com o objetivo de interferir no funcionamento de sistemas de intelig\u00eancia artificial.<\/p>\nSegundo a Corte da Cidadania, as ocorr\u00eancias foram identificadas nas \u00faltimas semanas e neutralizadas pelas camadas de seguran\u00e7a do STJ Logos, sistema de IA generativa desenvolvido pelo Tribunal.<\/p>\nO presidente do STJ, ministro Herman Benjamin, afirmou que os casos ser\u00e3o apurados e destacou que a ferramenta j\u00e1 conta com mecanismos espec\u00edficos para impedir esse tipo de manipula\u00e7\u00e3o.<\/p>\n“Estamos mapeando todas as tentativas de prompt injection para permitir a aplica\u00e7\u00e3o de san\u00e7\u00f5es processuais e a devida apura\u00e7\u00e3o de responsabilidade administrativa e criminal dos envolvidos”<\/b>, declarou o ministro.<\/p>\nA pr\u00e1tica ganhou repercuss\u00e3o no meio jur\u00eddico no in\u00edcio de maio, ap\u00f3s relatos de tentativa de fraude processual na Justi\u00e7a do Trabalho, no \u00e2mbito do TRT da 8\u00aa regi\u00e3o.<\/p>\nPrompt injection<\/h2>\nO prompt injection \u00e9 uma t\u00e9cnica usada para tentar enganar modelos de intelig\u00eancia artificial, especialmente grandes modelos de linguagem, conhecidos como LLMs. Na pr\u00e1tica, comandos s\u00e3o inseridos em textos aparentemente comuns, como peti\u00e7\u00f5es, recursos ou documentos processuais. Essas instru\u00e7\u00f5es podem ser ocultadas de forma a n\u00e3o serem percebidas facilmente por uma pessoa, mas ainda assim serem lidas pela IA.<\/p>\nO objetivo \u00e9 tentar fazer com que o sistema ignore suas regras originais ou produza respostas favor\u00e1veis a uma das partes.<\/p>\nCertifica\u00e7\u00e3o nos autos<\/h2>\nAl\u00e9m das medidas tecnol\u00f3gicas, a Presid\u00eancia do STJ determinou que as tentativas de uso de prompt injection sejam certificadas nos autos. Com isso, ministros e ministras poder\u00e3o avaliar a aplica\u00e7\u00e3o de eventuais san\u00e7\u00f5es processuais aos respons\u00e1veis.<\/p>\nTamb\u00e9m foi determinada a instaura\u00e7\u00e3o de inqu\u00e9rito policial e de procedimento administrativo para apurar os fatos. A medida prev\u00ea a oitiva de advogados e escrit\u00f3rios envolvidos, com possibilidade de responsabiliza\u00e7\u00e3o nas esferas criminal e correicional.<\/p>\nCamadas de prote\u00e7\u00e3o<\/h2>\nDe acordo com o Tribunal, o STJ Logos foi estruturado com diferentes n\u00edveis de seguran\u00e7a para impedir que comandos maliciosos inseridos em peti\u00e7\u00f5es ou em outros documentos sejam executados pela IA.<\/p>\nA primeira camada atua no pr\u00e9-processamento do conte\u00fado, separando as instru\u00e7\u00f5es leg\u00edtimas dos dados externos recebidos pelo sistema. O objetivo \u00e9 isolar poss\u00edveis comandos ocultos antes que eles cheguem ao modelo de IA.<\/p>\nEm seguida, a ferramenta estabelece limites de contexto, de modo a impedir que instru\u00e7\u00f5es externas se sobreponham \u00e0s regras principais do sistema. Por fim, h\u00e1 uma etapa de revis\u00e3o da resposta gerada, destinada a verificar se o resultado est\u00e1 de acordo com as pol\u00edticas de seguran\u00e7a e integridade definidas pelo Tribunal.<\/p>\nO STJ informou que a seguran\u00e7a dos processos \u00e9 uma das prioridades desde o desenvolvimento dos sistemas de intelig\u00eancia artificial que levaram ao lan\u00e7amento do STJ Logos, em fevereiro de 2025.<\/p>\nInforma\u00e7\u00f5es: STJ.<\/i><\/p>\nFonte: <\/a><\/b><\/p>\n<\/div>\n<\/div>\n](\"https:\/\/blogger.googleusercontent.com\/img\/b\/R29vZ2xl\/AVvXsEhp1LDtLq_AluWmQKgjfaR1t479zUgk9-mguSeTVYPoOs-m-zz_ENGJ83SKLdlBF8U57yfg9Y6WpVAcpglwUbH0PgP1SoDL69K5okccuvuf8ugw7qxOmZ0Zzl1eobTtkfG99uT0BNmDPDMPZO-ya16R3Vautum91iQ9bMs2vehYSjZcxR48XpnwWnNIIaY0\/s920\/prompt-injection-stj-apura-tentativa-manipulacao-ia-peticoes.webp\"){kind=link}