<\/p>\n\n\n\n
Eric Zompero \u2013 <\/strong>Arquiteto | Designer | Educador URM \u2013 Universidade Roberto Miranda. S\u00e3o Paulo, SP. Artigo realizado para o curso: <\/em>Intelig\u00eancia Artificial: Desafios, Regula\u00e7\u00e3o e Governan\u00e7a,<\/strong><\/em> SENAC, SP. <\/em>Professor Alexandre dos Santos Mignon<\/p>\n\n\n\n Resumo:<\/strong><\/p>\n\n\n\n Em 2019 uma postagem em uma m\u00eddia social falava sobre as diferen\u00e7as significativas nos limites de cr\u00e9dito oferecidos a homens e mulheres do Apple Card. Esse incidente levantou acusa\u00e7\u00f5es de preconceito de g\u00eanero pelo sistema de IA, destacando a import\u00e2ncia das considera\u00e7\u00f5es \u00e9ticas nos servi\u00e7os financeiros baseados em IA.<\/p>\n\n\n\n Palavras-chave:<\/strong> IA. Intelig\u00eancia Artificial. Artificial Inteligence. Tecnologia da Informa\u00e7\u00e3o.<\/p>\n\n\n\n #ia #ai #inteligenciaartificial #artificialinteligence #tecnologiadainformacao #tecnologia<\/p>\n\n\n\n (TEXTO REALIZADO COM AUX\u00cdLIO DE IA)<\/strong>\u2013 Bibliografia, tradu\u00e7\u00e3o, corre\u00e7\u00e3o de textos, busca de fontes, resumos e refer\u00eancias.<\/p>\n\n\n\n I. Hist\u00f3rico.<\/strong><\/p>\n\n\n\n O caso envolvendo o Apple Card e David Heinemeier Hansson ganhou destaque em novembro de 2019, quando o desenvolvedor de software dinamarqu\u00eas usou o Twitter para denunciar uma poss\u00edvel discrimina\u00e7\u00e3o de g\u00eanero no algoritmo do Apple Card. Hansson relatou que recebeu um limite de cr\u00e9dito 20 vezes maior do que o de sua esposa, apesar de ela ter uma pontua\u00e7\u00e3o de cr\u00e9dito superior.<\/p>\n\n\n\n\n\n Figura : POST DE HANSSON NO TWITTER<\/em><\/p>\n\n\n\n (fonte: https:\/\/www.sbs.com.au\/news\/article\/apple-credit-card-to-be-investigated-over-alleged-gender-discrimination\/2kkvtkmt1 )<\/p>\n\n\n\n Tradu\u00e7\u00e3o: Apple Card \u00e9 \u201csexista\u201d. \u201cMinha esposa e eu enviamos declara\u00e7\u00f5es fiscais conjuntas, temos um regime de comunh\u00e3o parcial de bens e somos casados \u200b\u200bh\u00e1 muito tempo. No entanto, o algoritmo da Apple acha que mere\u00e7o 20 vezes o limite de cr\u00e9dito que ela merece.<\/em><\/p>\n\n\n\n A situa\u00e7\u00e3o rapidamente chamou a aten\u00e7\u00e3o da m\u00eddia e das autoridades reguladoras. Hansson n\u00e3o foi o \u00fanico a levantar preocupa\u00e7\u00f5es; Steve Wozniak, cofundador da Apple, tamb\u00e9m afirmou que ele e sua esposa enfrentaram uma disparidade semelhante em seus limites de cr\u00e9dito (Terra, 2019). Essas alega\u00e7\u00f5es levaram o Departamento de Servi\u00e7os Financeiros do Estado de Nova York a abrir uma investiga\u00e7\u00e3o para determinar se o algoritmo do Apple Card, desenvolvido pelo Goldman Sachs, estava de fato discriminando mulheres.<\/p>\n\n\n\n O Goldman Sachs, por sua vez, negou qualquer discrimina\u00e7\u00e3o intencional e afirmou que os limites de cr\u00e9dito eram determinados individualmente, com base em uma s\u00e9rie de fatores que n\u00e3o inclu\u00edam o g\u00eanero. No entanto, a controv\u00e9rsia levantou quest\u00f5es importantes sobre a transpar\u00eancia e a equidade dos algoritmos de cr\u00e9dito, especialmente aqueles usados por grandes institui\u00e7\u00f5es financeiras.<\/p>\n\n\n\n Em mar\u00e7o de 2021, ap\u00f3s uma investiga\u00e7\u00e3o detalhada, o Departamento de Servi\u00e7os Financeiros de Nova York concluiu que n\u00e3o havia evid\u00eancias de discrimina\u00e7\u00e3o de g\u00eanero no algoritmo do Apple Card. Apesar disso, o caso destacou a necessidade de maior supervis\u00e3o e regulamenta\u00e7\u00e3o dos sistemas de intelig\u00eancia artificial, para garantir que eles operem de maneira justa e transparente.<\/p>\n\n\n\n O incidente tamb\u00e9m serviu como um alerta para outras empresas que utilizam algoritmos em processos de tomada de decis\u00e3o financeira. A transpar\u00eancia nos crit\u00e9rios usados por esses algoritmos e a capacidade de revisar e contestar decis\u00f5es automatizadas s\u00e3o essenciais para evitar preconceitos e garantir a confian\u00e7a dos consumidores.<\/p>\n\n\n\n II. Opacidade e suas causas<\/strong><\/p>\n\n\n\n A opacidade nas intelig\u00eancias artificiais (IA) refere-se \u00e0 dificuldade de entender e interpretar os processos internos e as decis\u00f5es tomadas por sistemas de IA. Este fen\u00f4meno, muitas vezes chamado de \u201ccaixa-preta\u201d, levanta preocupa\u00e7\u00f5es significativas em diversas \u00e1reas, incluindo \u00e9tica, seguran\u00e7a, responsabilidade e no caso do Apple Card resolu\u00e7\u00f5es sexistas.<\/p>\n\n\n\n A opacidade das IAs levanta quest\u00f5es \u00e9ticas importantes. Por exemplo, em sistemas de IA utilizados para decis\u00e3o de libera\u00e7\u00e3o de cart\u00f5es como o Apple Card, a falta de transpar\u00eancia pode levar a decis\u00f5es injustas ou err\u00f4neas. A incapacidade de explicar essas decis\u00f5es pode minar a confian\u00e7a p\u00fablica e dificultar a responsabiliza\u00e7\u00e3o.<\/p>\n\n\n\n A opacidade tamb\u00e9m afeta a seguran\u00e7a e a confiabilidade dos sistemas de IA. Sem uma compreens\u00e3o clara dos processos internos, \u00e9 dif\u00edcil prever como uma IA reagir\u00e1 em situa\u00e7\u00f5es inesperadas ou adversas. A falta de transpar\u00eancia complica a atribui\u00e7\u00e3o de responsabilidade em casos de falhas ou danos causados por IAs. Reguladores e legisladores enfrentam desafios ao tentar criar normas que garantam a seguran\u00e7a e a justi\u00e7a sem sufocar a inova\u00e7\u00e3o. A necessidade de um equil\u00edbrio entre transpar\u00eancia e prote\u00e7\u00e3o de propriedade intelectual \u00e9 um tema recorrente.<\/p>\n\n\n\n Assim, percebe-se a opacidade nas IAs como um desafio que requer a colabora\u00e7\u00e3o de cientistas, engenheiros, legisladores e a sociedade em geral. Avan\u00e7os em IA explic\u00e1vel e regulamenta\u00e7\u00f5es adequadas s\u00e3o essenciais para garantir que os benef\u00edcios das IAs sejam plenamente realizados, minimizando os riscos associados \u00e0 falta de transpar\u00eancia.<\/p>\n\n\n\n III. Controv\u00e9rsias? Solu\u00e7\u00f5es?<\/strong><\/p>\n\n\n\n Em um relat\u00f3rio do New York Department of Financial Services, de mar\u00e7o de 2021, sobre alega\u00e7\u00f5es de discrimina\u00e7\u00e3o de g\u00eanero no Apple Card, emitido pelo Goldman Sachs. Foi negada qualquer discrimina\u00e7\u00e3o, afirmando que os limites de cr\u00e9dito s\u00e3o determinados por um algoritmo que n\u00e3o considera o g\u00eanero. A entidade financeira concluiu que n\u00e3o havia evid\u00eancias de discrimina\u00e7\u00e3o intencional, mas recomendou melhorias na transpar\u00eancia e na comunica\u00e7\u00e3o com os clientes. O artigo tamb\u00e9m menciona a import\u00e2ncia de garantir que os algoritmos usados em servi\u00e7os financeiros sejam justos e n\u00e3o discriminat\u00f3rios.<\/p>\n\n\n\n De qualquer forma, considerando a possibilidade de interpreta\u00e7\u00f5es err\u00f4neas por IAs, \u00e9 poss\u00edvel tra\u00e7ar poss\u00edveis solu\u00e7\u00f5es, combatendo o que poderia ser considerado \u201cpreconceito\u201d por parte dos logaritmos dessas Intelig\u00eancias artificiais.<\/p>\n\n\n\n Solomon Radley em artigo publicado em 2019 tra\u00e7a algumas quest\u00f5es, reproduzidas a seguir:<\/p>\n\n\n\n O primeiro passo para eliminar vieses significativos geralmente \u00e9 identificar poss\u00edveis “lacunas” em um determinado conjunto de dados que podem ser equilibrados para torn\u00e1-lo mais representativo da popula\u00e7\u00e3o que deve representar.<\/em><\/p>\n\n\n\n \u201cNos casos de, por exemplo, algoritmos de reconhecimento facial, eles s\u00e3o muito bons em homens brancos”, explica Power. “Eles n\u00e3o s\u00e3o t\u00e3o bons em mulheres negras. Ent\u00e3o, nesse caso, a resposta \u00e9 que voc\u00ea precisa de mais dados.”<\/em><\/p>\n\n\n\n Tamb\u00e9m \u00e9 importante considerar uma pluralidade de perspectivas e pontos de vista ao desenvolver um modelo preditivo e tomar medidas para pesquisar e eliminar vieses que conseguem se infiltrar. Isso pode ajudar a equipe a identificar seus pontos cegos e evitar a cria\u00e7\u00e3o de seus pr\u00f3prios preconceitos no software.<\/em><\/p>\n\n\n\n “A equipe precisa ser diversificada”, diz Connie Zhang, diretora de dados e an\u00e1lises dos EUA, Agricultural Bank of China. “Infelizmente, muitas pessoas de dados s\u00e3o [de] um tipo semelhante.”<\/em><\/p>\n\n\n\n (<\/em>RADLEY., 2019)<\/em><\/p>\n\n\n\n IV. Conclus\u00e3o.<\/strong><\/p>\n\n\n\n O caso do Apple Card destaca a import\u00e2ncia \u00e9tica da IA nos servi\u00e7os financeiros, particularmente na aloca\u00e7\u00e3o de cr\u00e9dito. Os vieses sexuais, \u00e9tnicos, religiosos, sociais, ou qualquer que seja, pode ter algumas consequ\u00eancias, limitando o acesso das pessoas aos recursos econ\u00f4micos e potencialmente ampliando as desigualdades sociais. Uma grande preocupa\u00e7\u00e3o \u00e9tica no incidente do Apple Card foi a falta de transpar\u00eancia. O processo de tomada de decis\u00e3o do sistema de IA n\u00e3o estava oferecendo uma explica\u00e7\u00e3o clara para as disparidades nos limites de cr\u00e9dito. Isso deixou os usu\u00e1rios inconscientes de como as decis\u00f5es foram tomadas, dificultando a contesta\u00e7\u00e3o ou corre\u00e7\u00e3o de resultados tendenciosos.<\/p>\n\n\n\n O caso do Apple Card fala sobre a preocupa\u00e7\u00e3o com a transpar\u00eancia e a responsabilidade nos sistemas de IA. Uma vez que a m\u00e1quina se mostre tendenciosa ou propensa a erros, deve ser poss\u00edvel pelo menos explicar como a decis\u00e3o foi tomada por um sistema de IA e corrigir os problemas rapidamente.<\/p>\n\n\n\n Os sistemas de IA devem implicar a incorpora\u00e7\u00e3o de justi\u00e7a, transpar\u00eancia e responsabilidade no processo, oferecendo igualdade para todos os usu\u00e1rios. Auditorias regulares de logaritmos, combinadas com explica\u00e7\u00f5es transparentes das decis\u00f5es da IA, devem trazer confian\u00e7a aos produtos financeiros orientados por IA.<\/p>\n\n\n\n O incidente do Apple Card \u00e9 um exemplo dram\u00e1tico das implica\u00e7\u00f5es do vi\u00e9s da IA no mundo real e um alerta para as ind\u00fastrias que usam IA em \u00e1reas sens\u00edveis, como finan\u00e7as. \u00c9 com o desenvolvimento da IA no setor banc\u00e1rio que mais salvaguardas \u00e9ticas precisam ser implementadas, garantindo que, em vez de perpetuar as desigualdades existentes, isso contribua para servi\u00e7os financeiros mais justos e inclusivos.<\/p>\n\n\n\n V. Refer\u00eancias.<\/strong><\/p>\n\n\n\n S. VAIDEHI.<\/strong> The Apple Card: A Case Study in AI Bias and Ethics in Banking. Medium<\/em>, 2023. Dispon\u00edvel em: https:\/\/medium.com\/@vaidehis.s2300\/the-apple-card-a-case-study-in-ai-bias-and-ethics-in-banking-83bcfd3caa56<\/a>. Acesso em: 29 set. 2024.<\/p>\n\n\n\n TERRA. <\/strong>Co-fundador da Apple diz que Apple Card deu \u00e0 sua esposa limite de cr\u00e9dito mais baixo. 11 nov. 2019. Dispon\u00edvel em:https:\/\/www.terra.com.br\/byte\/co-fundador-da-apple-diz-que-apple-card-deu-a-sua-esposa-limite-de-credito-mais-baixo,d79fb6fb33ef2e09706c5bd143ba894ftctv6gyo.html#google_vignette<\/a>. Acesso em: 29 set. 2024.<\/p>\n\n\n\n TERADATA.<\/strong> What the Apple Card controversy says about our AI future. Teradata, 2023. Dispon\u00edvel em: https:\/\/www.teradata.com\/blogs\/what-the-apple-card-controversy-says-about-our-ai-future<\/a>. Acesso em: 29 set. 2024.<\/p>\n\n\n\n DESIGN NEWS<\/strong><\/em>. The Apple Card Is the Most High-Profile Case of AI Bias Yet. <\/em>Dispon\u00edvel em: <\/em>https:\/\/www.designnews.com\/artificial-intelligence\/the-apple-card-is-the-most-high-profile-case-of-ai-bias-yet<\/em><\/a> . <\/em>Acesso em: 29 set. 2024.<\/em><\/p>\n\n\n\n THEVERGE.<\/strong> Goldman Sachs says Apple Card algorithm does not discriminate against women. The Verge, 23 mar. 2021. Dispon\u00edvel em:
Professor Universit\u00e1rio \u2013 Gradua\u00e7\u00e3o e P\u00f3s-gradua\u00e7\u00e3o.<\/p>\n\n\n\n
QZA – Arquitetura, Design e Consultoria
eric<\/u>@qza.com.br<\/em><\/u><\/a><\/p>\n\n\n\n
https:\/\/www.theverge.com\/2021\/3\/23\/22347127\/goldman-sachs-apple-card-no-gender-discrimination<\/a>. Acesso em: 29 set. 2024.<\/p>\n\n\n\n