Lutiana Barbosa[1]
Gustavo Macedo[2]
A inteligência artificial (IA) está cada vez mais presente em diversas esferas do cotidiano das pessoas. Desde 2020, o uso de IA aplicada a relações de consumo foi acelerado com a pandemia de COVID-19 que impulsionou a virtualização de vendas de produtos e serviços. A utilização da IA neste setor pode significar mais ofertas, melhor comparação entre produtos, e melhor experiência do cliente. A IA pode ainda beneficiar correntistas de bancos ao alertar e bloquear automaticamente transações suspeitas.
No entanto, pode apresentar riscos também. Devido ao acesso a extensas bases de dados pessoais, a IA pode influenciar padrões de comportamento de consumo e levar os indivíduos à hiper conveniência — ou seja, a identificação de um perfil consumista entre indivíduos e posterior incentivo e exploração desenfreada pelos algoritmos. Além do seu potencial para violar a privacidade, os algoritmos podem gerar constrangimentos ao realizar cobranças indevidas e a perfilização inadequada de clientes que eventualmente impedirá o acesso desses a linhas de créditos. Essas pontuações de crédito elaboradas por IA podem reforçar a invisibilidade social de indivíduos mais vulneráveis e limitar seu acesso à moradia e educação.
Neste terceiro texto de nossa série sobre Ética e Inteligência Artificial (confira o primeiro e o segundo, publicados no Boletim Lua Nova), iremos explorar algumas das oportunidades e desafios de ordem moral que o uso de tecnologias de IA impõem a empresas e consumidores. Muitos desses efeitos ainda representam uma incerteza jurídica para as relações de consumo, pois faltam balizas éticas, leis e jurisprudência[3] sobre a questão. Do mesmo modo, tentar regular o uso de IA em diversos setores da economia pode representar um duro golpe às capacidades de inovação, concorrência e sobrevivência de pequenos e grandes negócios. Por conseguinte, é necessário achar soluções conjuntas que fomentem a inovação e o progresso social.
Para falar sobre esse assunto, daremos continuidade ao emprego das perspectivas deontológica e utilitarista que ajudam a pensar os prós e contras do uso de inteligência artificial no contexto consumerista. Apresentamos quatro breves estudos de caso: 1) concessão de crédito, seguros e convênios médicos; 2) veículos autônomos; 3) hiper conveniência; e 4) blockchain. Por fim, abordamos a relação entre ESG, a sigla em inglês para Environmental, Social and Governance (ambiental, social e governança, em português) e IA.
Concessão de crédito, seguros e convênios médicos e IA
Utilitaristas defendem que, se a IA puder produzir resultados melhores que os humanos, deve ser utilizada para a maximização dos ganhos (por exemplo, se um robô decidir sobre concessão de crédito gerar maior segurança para Bancos e celeridade para usuários). De acordo com essa perspectiva, a IA pode implementar velocidade, precisão e lastro em uma ampla gama de dados nos processos decisórios de concessão de crédito, de planos de saúde e de seguros. Desse modo, diminuir-se-iam as chances de inadimplência, de contratos de seguros com avaliação incorreta dos riscos ou de celebração de contratos de convênio com valores desproporcionais para consumidores. Ainda que uma minoria saísse prejudicada por decisões que não exercem um juízo valorativo adequado, a decisão seria válida em um contexto mais amplo por beneficiar um maior número de pessoas. Do ponto de vista tanto das empresas quanto de significativa parte dos consumidores, decisões céleres e alicerçadas em grande quantidade de dados se traduziriam numa melhor relação de consumo. Logo, o uso de IA tornaria o processo mais eficiente, seguro e objetivo para um maior número de pessoas.
A perspectiva deontológica entende que, mesmo que a inteligência artificial possa apresentar resultados melhores que os humanos, é moralmente inadmissível empregá-la caso viole preceitos básicos inerentes à dignidade da pessoa humana (por exemplo, algoritmos podem violar a privacidade e discriminarem grupos vulneráveis, tais como mulheres e negros, além de deixarem à margem comunidades hipossuficientes). Um exemplo concreto é o chatbot Tay da Microsoft que foi descontinuado por fazer postagens ofensivas. Em 2019, um grupo de pesquisadores identificou um viés de raça na predição de algoritmo de IA que apontava quantos dos 200 milhões de norte-americanos avaliados provavelmente necessitariam de mais cuidados médicos. A utilização de IA nestes campos apresenta riscos de potencializar vieses e reforçar práticas discriminatórias que são muito difíceis de serem identificadas ao se avaliar seguros, planos de saúde e crédito. Seu uso pode implicar em um impacto desproporcional a grupos vulneráveis, reforçando sua vulnerabilidade.
Se os dados utilizados em ações humanas implicam em discriminação não-intencional, é possível se prevenir. No entanto, a discriminação não-intencional de proxis de IA é inevitável. Isto ocorre pois algoritmos com aprendizados de máquina aprendem a aprender e podem desenvolver suas próprias correlações, concluindo de forma discriminatória, por exemplo, que mulheres têm maior chance de inadimplência – condenando injustamente mulheres do futuro a pagarem um preço por uma visão equivocada do passado.
Veículos autônomos
Um carro autônomo é um veículo automotor que, por meio de sensores, identifica o ambiente à sua volta e consegue trafegar sem a necessidade de intervenção humana. Carros autônomos guardam similaridade com armas autônomas – objeto do primeiro artigo desta série. Ambos são capazes de, por meio de sensores, angariar dados sobre o contexto fático, utilizar algoritmos para a análise dos dados e, baseados nesses dados, determinar e executar ações instantaneamente. Mais ainda, em diferentes contextos ambos podem ter que decidir entre a vida e a morte.
Diversos são os desafios éticos gerados por tais veículos. Dentre os casos mais evidentes estão os questionamentos envolvendo vida e morte. Diante de dois prováveis resultados trágicos, qual caminho escolher? É o famoso paradoxo do bonde descarrilhado. E quando ocorre um acidente com vítimas fatais, quem seria o responsável? Quem projetou o veículo? Quem programou a tecnologia embarcada no veículo (possivelmente uma empresa prestadora de serviços para a montadora)? O dono do carro? Ou o condutor do veículo (termo contestável uma vez que se poderia alegar que o condutor seria na verdade o passageiro)?
Algumas dessas questões têm vindo à tona com os casos de acidente envolvendo veículos autônomos, como os carros da Tesla que mataram duas pessoas, ou que destruíram propriedades particulares. Para casos como esses, as perspectivas utilitarista e deontológica nos auxiliam na reflexão ética.
Utilitaristas entendem que se carros autônomos levarem a resultados melhores que os humanos, deveriam ser utilizados para a maior felicidade. Apresentam argumentos tais como o fato de que carros autônomos poderiam implicar em maior precisão na direção, redução do número absoluto de acidentes e mortes, levando à maximização de ganhos de um número maior de pessoas. Outras vantagens indiretas estariam associadas a esse argumento, como por exemplo uma malha de trânsito mais integrada e inteligente levando a redução de engarrafamentos e poluição, otimização do tempo de deslocamento e ganho do tempo dedicado a outras atividades durante o deslocamento. Ainda nesse sentido, os efeitos diretos e indiretos dessa tecnologia poderiam impactar positivamente nas metas de sustentabilidade, ESG e compromisso das empresas e cidades com os Objetivos do Desenvolvimento Sustentável.
Por outro lado, em uma perspectiva deontológica, mesmo que carros autônomos possam apresentar resultados melhores que os carros dirigidos por humanos, é moralmente inadmissível empregá-la para executar tarefas inerentemente humanas (por exemplo, um algoritmo decidir sobre a vida ou a morte em caso de acidente é errado, independentemente de suas consequências). Assim, carros autônomos que violarem preceitos éticos fundamentais, como a dignidade da pessoa humana, deveriam ser proibidos. A decisão sobre a vida e a morte, como ocorre em casos críticos de acidentes, não poderia ser tomada por algoritmos. Seria necessário que um agente humano desempenhasse tal função. Ou então, uma alternativa seria estabelecer responsabilidade objetiva e considerar antecipadamente que essa decisão já teria sido indiretamente tomada pelos programadores da IA embarcada. Mas seria justo reconhecer a responsabilidade indireta de programadores por todos os acidentes fatais?
Hiper conveniência e IA
Dispositivos de IA processam uma gama de dados dos consumidores como sua localização e baldeações, locais frequentados, sites que foram acessados, termos de buscas, produtos comprados, dentre outros, e assim dispositivos preveem de forma personalizada possíveis potenciais de consumo. Tais dados permitem que fabricantes ofereçam melhores produtos. Ao mesmo tempo criam desejos de consumo e fomentam o consumismo. É a denominada hiper conveniência. No entanto, qual o limite ético de se utilizar dados disponíveis online e gerados pelos consumidores que expõem seus hábitos, buscas, preferências? E se tais dados forem de crianças, idosos, ou demais populações vulneráveis? Pode a IA influenciar o consumo de crianças? Ou isto pode ser danoso a seu desenvolvimento? Criar desejos e pressionar o consumo que não está ao alcance financeiro de hipossuficientes é aceitável? Quais os limites impostos pelos direitos humanos à IA nas relações de consumo para que não se busque incessantemente o lucro em detrimento da violação da personalidade?
Novamente, uma abordagem utilitarista da questão apontaria para o fato de que, se a oferta personalizada de produtos gerar mais felicidade a um número maior de consumidores, ela deve prevalecer. Este é um argumento que defende a liberdade de mercado entre as partes, e que não impõe uma visão “vitimista” do consumidor, isto é, de que ele não teria poder de escolha. Pelo contrário, enfatiza a noção de que os consumidores são livres para não comprar ou não consumir mais os serviços das plataformas online, por exemplo. Ademais, um consumo mais preciso geraria mais felicidade, visto que um maior número de consumidores teria seus desejos satisfeitos. Alega-se, por fim, que essa relação de consumo pode ser benéfica até mesmo para o meio ambiente por gerar menos desperdício de produtos comprados e não utilizados.
A perspectiva deontológica impõe limites à hiper conveniência, tal como o princípio da privacidade que limita o rastreamento de dados das pessoas, de suas emoções, a proteção à infância e o melhor interesse da criança. Não seriam apenas os indivíduos reconhecidamente mais vulneráveis que deveriam ser protegidos. Defende-se que qualquer indivíduo adulto seria suscetível a ter suas emoções e impulsos consumistas influenciados ou manipulados por plataformas que misturariam consumo com comunicação e conexão social. Por esse motivo alguns mecanismos deveriam ser criados, não para limitar a liberdade de consumo, mas para protegê-los dos de abusos.
Blockchain e IA
Blockchain é um livro virtual que contém o registro de transações e que confere-lhes segurança, pois torna extremamente difícil alterar, hackear ou enganar o sistema. O banco de dados é descentralizado e gerenciado pelos diversos participantes, que têm uma “cópia” das transações para a gestão transparente. Os dados são imutáveis, o que aumenta a confiança, e o sistema é anônimo. Inicialmente foi desenvolvido para criptomoedas, mas pode ser usado em outros campos como saúde, serviços bancários e armazenamento de dados sensíveis.
Em relação à IA, a blockchain apresenta uma oportunidade para desenvolvimento de IA explicável, pois oferece informações sobre a estrutura e dados utilizados no processo decisório da IA. Pode endereçar, assim, uma das principais preocupações em relação à IA, qual seja, a provável inexplicabilidade ou incompreensão do curso da tomada de decisão. A IA, por sua vez, potencializa o uso da blockchain por possibilitar o processamento e análise de grande quantidade de dados e informações com velocidade e eficiência. Por exemplo, no campo da saúde a utilização de IA e blockchain pode ajudar em diagnósticos e sugerir tratamentos. No campo financeiro, se o usuário autorizar a utilização de seus dados contidos em blockchain, a concessão de financiamentos é rápida, baseada em dados que a instituição financeira confia. Um ponto disruptivo da blockchain é que o poder de controle é difuso, e não centralizado. Assim, gera uma mudança de paradigma do controle centralizado e hierárquico, marcado por regras, para uma realidade descentralizada que depende do agir ético de todas as partes envolvidas
Tais sistemas representam o presente e o futuro do crescimento, mas também representam riscos para a sociedade. Em uma perspectiva utilitarista tal sistema oferece maior satisfação para um maior número de pessoas, pois todos têm controle das operações, um maior número de pessoas é protegida de hackers, e sua identidade é preservada. A perspectiva deontológica reconhece tais benefícios e enaltece a possibilidade de se explicar o curso da tomada de decisão por IA (IA explicável), mas também questiona a possibilidade de responsabilização. Se houver violações, como responsabilizar se os blocos são anônimos ou são utilizados pseudônimos? E quanto ao direito ao esquecimento? Usuários serão eternamente estigmatizados com as informações expostas a todos nos blocos que nunca serão apagadas?
ESG e IA
É crescente o debate entre dirigentes de empresas, colaboradores, investidores, e demais stakeholders em como incluir ESG em decisões empresariais. A compreensão é de que para prosperarem ao longo do tempo, empresas devem ter resultados financeiros e também impactarem positivamente a sociedade.
Como a IA está cada vez mais presente em diversas searas de nossas vidas, deve ser incluída pelas empresas na análise e implementação de ESG. É que a utilização de IA pode implicar em risco à reputação do ESG de empresas se, por exemplo, os algoritmos projetados ou utilizados forem falhos, implicarem em preconceitos ou escolhas antiéticas ou ilegais. Exemplos críticos são carros autônomos que têm que fazer escolhas éticas em caso de acidentes, ou sistemas de predição de criminalidade que impactam adversamente negros. Assim, empresas que querem estar à frente dos ESG devem desenvolver e utilizar a IA de forma ética desde a sua concepção, implementação e avaliação. Isto requer um código de ética e IA, bem como o treinamento de seus colaboradores em aspecto éticos da IA e ESG e a criação de processos e comitês para um constante aprendizado evolutivo quanto à utilização de sistemas de IA socialmente responsáveis, mensurando-se resultados, abrindo-se mecanismos de feedback, aprimorando-se a gerando um senso de responsabilidade ética em todos os colaboradores. Assim, a análise das ESG abarca necessariamente a discussão ética e as perspectivas deontológica e utilitarista anteriormente apresentadas ajudam a se avaliar a ESG da IA.
Ampliando-se a análise para a sociedade em que empresas estão inseridas, empresas, sociedade civil, governos e demais stakeholders comprometidos com ESG precisam se questionar os impactos do desenvolvimento, implementação e utilização da IA nos campos ambiental (mudança climática, poluição, sustentabilidade, etc), social (direitos humanos, trabalhistas, direitos das crianças, não discriminação, etc) e de governança (governança corporativa, conflitos de interesses, medidas anticorrupção, anti-lavagem de dinheiro, antifraude, etc).[4] Dentre outros, devem ser abordados aspectos tais como a interpretabilidade e explicabilidade da IA, sua correlação com a privacidade, segurança e justiça. Estes elementos precisam estar presentes desde a concepção do sistema que utiliza a IA, pois sua inserção posterior pode ser demasiado tarde.
Por fim, ressalta-se que a utilização de IA pode, ainda, facilitar a análise de ESG. Isso porque permite a análise de grande quantidade de dados que podem ser coletados de diversas fontes, bem como oportuniza a criação e utilização de novas fontes de dados. Dessa maneira, contribui para a coleta e processamento de dados mais eficiente.
Considerações finais
Tecnologias de IA são um ponto crítico para a definição do futuro das relações de consumo. Ações que historicamente eram desenvolvidas apenas por seres humanos, agora são realizadas por IA no campo consumerista. Se por um lado a IA pode maximizar o bem-estar por guarnecer as relações de consumo com maior quantidade de informações e possibilitar a oferta de produtos mais precisos e com celeridade, por outro o seu uso deve ser calcado em uma reflexão ética que abarque ESG, encontrando, assim, limites lastreados no princípio da dignidade da pessoa humana. É necessário que empresas, governos, academia e sociedade civil discutam o uso da inteligência artificial nas relações de consumo para prevenir riscos e garantir seu uso eficiente.
Mesmo que bem-intencionado, o uso de IA se desprovido de prévio e constante escrutínio ético pode se tornar instrumento de vigilância e opressão. Sua utilização pode ocasionar práticas discriminatórias, violar o direito à privacidade, e de acesso à saúde, por exemplo. A tecnologia muitas vezes replica vieses existentes em bases de dados que refletem práticas sociais injustas, como o racismo e outras formas de discriminação. Mais ainda, os times que desenvolvem algoritmos muitas vezes não têm diversidade de gênero, classe social e origem étnica, o que aumenta as chances de discriminação velada. A privacidade é devassada com o acesso e consideração de suas redes sociais, buscas e localização. Outro fator relevante é que a IA pode implicar em riscos para crianças que têm sua intimidade violada e são expostas à hiper conveniência.
Melhores práticas precisam ser reunidas e compartilhadas. Muitas vezes, empresas podem não antever efeitos colaterais, sendo essencial que se criem mecanismos de feedback da sociedade civil, bem como que internamente, ou por consultoria externa, empresas mantenham um código de ética e treinamento de seus colaboradores. A democratização do processo e a diversidade é essencial para que se pense e atue melhor sobre o tema e se previna riscos. Se diferentes stakeholders têm a oportunidade de participar e tomam como sua responsabilidade o desenvolvimento de IA responsável, a chance é de resultados melhores. Uma alternativa para alcançarmos esse nível de desenvolvimento seria a criação de um sandbox regulatório para empresas de IA. Isto é, um ambiente isolado e seguro para testes de novas aplicações de tecnologias e verificação de suas implicações.
É relevante que se fomentem meios, capacidades e incentivos para que empresas e o poder público mitiguem os riscos, melhor sirvam comunidades e indivíduos vulnerabilizados, e atendam a critérios de ESG. Essencial ainda é a criação de mecanismos de responsabilização em caso de violações. Estes têm como escopo não apenas reprimir violações como também permitir um aprendizado evolutivo das relações de consumo de acordo com a crescente exigência de compromissos internacionais de sustentabilidade.
* Este texto não reflete, necessariamente, a opinião do Boletim Lua Nova ou do Cedec.
[1] Defensora Pública Federal e doutoranda em Direito pela Universidade Federal de Minas Gerais (UFMG). Mestre em Direito pela PUC-MG e LL.M pela Columbia University.
[2] Pesquisador de pós-doutorado no Instituto de Estudos Avançados da Universidade de São Paulo (IEA-USP). Doutor em Ciência Política pela USP.
[3] A jurisprudência sobre a utilização de IA nas relações de consumo ainda se encontra em estágio inicial. Recentemente o Tribunal de Justiça de Minas Gerais (TJMG) entendeu que o banimento de conta de aplicativo de Whatsapp por mecanismos de IA não é razoável, sendo necessária a comunicação prévia e fundamentada para evitar prejuízo ao consumidor (TJMG – Agravo de Instrumento-Cv 1.0000.20.597631-9/001, Relator(a): Des.(a) Marcos Henrique Caldeira Brant , 16ª CÂMARA CÍVEL, julgamento em 23/06/2021). Por outro lado, o Tribunal de Justiça do Distrito Federal e dos Territórios (TJDFT) determinou que cobranças indevidas realizadas por inteligência artificial do Banco do Brasil não gerariam o direito à repetição em dobro prevista no art. 42, parágrafo único, do Código de Defesa do Consumidor. A explicação estaria no fato de que a repetição em dobro requer “1) que a cobrança realizada tenha sido indevida; 2) que haja o pagamento indevido pelo consumidor; e 3) que haja engano injustificável ou má-fé”. Segundo o tribunal, robôs não poderiam agir com ‘má-fé’, atributo inerentemente humano. APELADO(S) JERONIMO BASTOS GARCIA e BANCO DO BRASIL SA Relator Desembargador EUSTAQUIO DE CASTRO Relator Designado Desembargador DIAULAS COSTA RIBEIRO Acórdão Nº 1157854 data 30/4/2019).
[4] Neste sentido, ver Andrea Bonime–Blanc, AI and reputational risk: An ESG perspective, 2018. Disponível em https://gecrisk.com/wp-content/uploads/2018/02/ABonimeBlanc-AI-ESG-and-RepRisk-Ethical-Boardroom-Winter-20182.pdf
Fonte Imagética: Photo by Samuele Errico Piccarini on Unsplash. Disponível em <https://unsplash.com/photos/MyjVReZ5GLQ>. Acesso em 16 set 2022.
