Humanizing Technology:The Design Researcher as the Guardian of Ethics in Digital Products

Startups and the Technological Impact on Our Lives

In recent years, the technology sector has fueled startups and innovative companies worldwide, including in Latin America and Brazil. Between 2015 and 2019, the number of startups in Brazil more than tripled, rising from 4,151 to 12,727 — an impressive 207% increase. This was a decisive period for consolidating the Brazilian startup ecosystem. Disruptive solutions paved the way for these startups to thrive. Their remarkable success led to the creation of the term “Unicorn,” used to describe startups valued at over 1 billion US dollars. Coined in 2013 by Aileen Lee, founder of Cowboy Ventures, the term highlighted startups achieving billion-dollar valuations.

Even during an economic crisis in Brazil or globally, startups showed resilience, and the ecosystem continued to thrive. The entrepreneurial environment has significantly impacted our lives. Some startups have revolutionized traditional industries, challenging established norms and driving innovation in underserved niches. Others have focused on delivering convenience to consumers through online marketplaces with simplified processes, making access to goods and services easier and more efficient.

Although still recent, these technology-driven products and services have completely reshaped our lives — from how we navigate cities, book accommodations while traveling, buy or rent apartments, and pay bills, to how we entertain ourselves. Today, it is nearly impossible to imagine life without technology. Startups undeniably play a crucial role in shaping the future.

The Not-So-Good Impacts

However, this fast-paced, diverse environment has sparked interdisciplinary debates and reflections about technology’s impact on society. On one hand, technological advancements help us tackle everyday tasks — banking transactions, ordering a taxi, or getting pizza. On the other, human vulnerabilities are becoming increasingly amplified. From AI-driven social media to autonomous vehicles and smart cities, we are surrounded by technology more than ever.

The unease stems from the realization that this revolution is driven by business models conceived at lightning speed. Publicly traded companies face pressures for short-term growth. Investors demand quick returns on their bets, while stakeholders aim to meet profit targets. Designers, in turn, also operate under OKRs (Objectives and Key Results). Capitalism remains dominant, often pushing designers to work on projects focused solely on business goals, sidelining principles, people, and the environment.

What is the outcome of all this? How do these design solutions affect millions of people across different languages and cultures? Even with the diligent efforts of user researchers, predicting and measuring the long-term impact of these business models on humanity is almost impossible. While we often view technology optimistically, embracing all the good it brings, that is not always the reality.

One such negative impact is what Yuval Noah Harari calls the “uberization” of society or “the rise of the useless classes.” This phenomenon underscores a darker side of technological progress.

“In the 21st century, we may witness the emergence of a new and massive working class: people devoid of any economic, political, or even artistic value, contributing nothing to the prosperity, power, or glory of society. This ‘useless class’ will not just be unemployed — it will be unemployable.”

From a less favorable but realistic perspective, we cannot ignore certain issues: the recent rise in cholesterol levels among children, as they increasingly consume fast food from delivery services; delivery workers riding bicycles without helmets while carrying extra weight on their backs; app drivers being pushed to work more than 12 hours a day; and phenomena like FoMO (“Fear of Missing Out”). Most concerning, however, are the impacts driven by social media platforms. Anchored in neuroscience, these platforms exploit our need for meaning, validation, and social approval.

While social media has the potential to connect people and foster a sense of community, it also contributes to feelings of isolation, cyberbullying, insecurity, emotional distress, and, tragically, suicide. Young people are the most vulnerable, and suicide rates are steadily increasing worldwide.

Neuroscience and Decision-Making Power

Equally significant, though less visible, is the reduction in users’ decision-making capacity. Manipulated menus often steer our choices away from what we need or truly want. Technology hijacks the way we perceive options, replacing them with curated alternatives.

The power to influence others, concentrated in the hands of tech giants, poses a dangerous threat to mass thought and control. Are we willing to delegate our decision-making power to algorithms?

Digital Narcissism & Dopamine

On the topic of neuroscience, Tristan Harris, former Google Design Ethicist, explains in the documentary The Social Dilemma that it is far cheaper to addict a person to seeking others’ attention than to individually capture their attention. This is the culture of narcissism, where we are constantly encouraged to post and share.

It creates a social dynamic in which people follow one another instantly and continuously, regardless of familiarity or personal connections. This compulsion to become an influencer is fueled by AI systems, which manipulate algorithms to make it all seem natural.

The most critical aspect of all this is that excessive use of social media is harmful to mental health. Constant stimuli and positive reinforcements, such as likes and comments, trigger the production of dopamine — one of the molecules responsible for pleasure. This fosters dependency within our brain’s reward system, turning it into an insatiable pursuit of that sensation.

It is, therefore, crucial to broaden the conversation and ask: do AIs calculate what is genuinely good for us, or merely what keeps our attention? How much do they truly support humanity — or even democracy?

Ethics in the Early Days of Philosophy

The idea of aligning technology with our minds and boundaries finds its roots in ancient Greece (384 BC — 322 BC) with Aristotle, the father of ethics. According to the philosopher:

Ethics is a philosophical discipline concerned with the study of moral principles and values that guide human behavior. It focuses on analyzing what is considered right or wrong, good or bad, just or unjust in human actions and social interactions.

In Summary, Aristotle’s ethics aim to achieve human flourishing through the cultivation of virtues and the development of a virtuous character, guiding individuals to make morally right and just decisions.

The Designer’s Responsibility

But how effective are these ethical codes or frameworks in the daily operations of a startup or a large organization focused on generating profits? What is the responsibility of the individuals within these organizations? Who should raise ethical concerns?

We start with the premise that every designer should refer to a code of ethics and remain aware of their conduct and personal values. A designer is accountable for the work they bring into the world, which can either help or harm others. The value of a designer’s work should be measured by its impact rather than aesthetic qualities alone.

A designer should go beyond merely executing their tasks; they should advise and critically assess the project’s impact. If the impact is negative, the economic, social, and ecological consequences should be reported to leadership — even when this goes against incentives or metrics.

As Upton Sinclair famously said: “It is difficult to get a man to understand something when his salary depends upon his not understanding it.” Speaking up won’t always be easy, but it’s important to remember that your work can affect millions of lives.

Constraints and Challenges Are Part of Life

Ray Eames, designer and architect, concluded that:

O Design é a solução intencional para um problema dentro de um conjunto de restrições. A ​​importância de considerar as restrições e desafios específicos ao criar soluções eficazes e funcionais.

Design is the intentional solution to a problem within a set of constraints. It emphasizes the importance of considering specific constraints and challenges when creating effective and functional solutions.

The Awakening of Big Tech

The topic has already sparked concern among Big Tech companies. It’s no coincidence that Apple, Android, Instagram, and others now provide users with information such as screen time and usage limits for phones or apps. However, these measures fall short since most people operate with the default settings.

This aligns with a study I conducted in 2012 on “Facebook Privacy Settings” as part of my Ergodesign postgraduate project at PUC. Users often complained about being tagged in friends’ photos without prior consent. At the time, the platform offered a setting to block this action, but many users didn’t utilize it — some didn’t even know the option existed.

In a Final Analysis…

I believe user researchers must lead the conversation on how to make technology more human. They are the ones who bring the human perspective into the equation and present it to product teams.

As Henry Beston, the American writer and naturalist, once said:
“Every human being is obliged to do their best to leave this planet in better shape than we found it. Designers should be no different.”

Obrigada por chegar até aqui.
Comentários para uxergonomie@gmail.com

***Portuguese Version***

Startups e o efeito tecnológico nas nossas vidas

Nos últimos anos o setor de tecnologia impulsionou startups e empresas inovadoras em todo o mundo, inclusive na América Latina e no Brasil. De 2015 até 2019, o número de startups no país mais que triplicou, passando de 4.151 para 12.727, gerando um salto de 207%. Cenário decisivo para consolidar o ecossistema brasileiro de startups. Soluções disruptivas abriram caminho para as startups despontarem. O surpreendente êxito das startups levou à criação do termo “Unicórnio”, que expressava as startups com avaliação de preço de mercado no valor de mais de 1 bilhão de dólares americanos. A expressão unicórnio foi criada em 2013, por Aillen Lee, fundadora da Cowboy Ventures para se referir a startups que tiveram uma valorização bilionária.

Uma crise econômica no Brasil ou mundial seria um gatilho de desaceleração, ainda assim o cenário das startups permaneceria promissor. O ecossistema de empreendedorismo teve um impacto significativo em nossas vidas. Algumas startups revolucionaram os setores tradicionais, desafiando normas existentes e impulsionando a inovação em nichos que eram mal atendidos. Enquanto outras se concentraram em fornecer conveniência aos consumidores, mercados on-line com processos simplificados. Tornando mais fácil e eficiente o acesso das pessoas a bens e serviços. Embora tudo muito recente, esses produtos e serviços ancorados na tecnologia, modificaram completamente nossas vidas: a forma como nos locomovemos pela cidade, como nos hospedamos em viagens, compramos ou alugamos apartamento, pagamos nossas contas e até a forma como nos divertimos. Ou seja, dificilmente conseguiríamos viver sem tecnologia, de fato, as startups desempenham um papel crucial na formação do futuro.

Os Impactos que não foram legais…

No entanto, todo esse ambiente veloz e plural tem desencadeado debates e reflexões interdisciplinares, sobre a tecnologia e o seu impacto na sociedade. De um lado, o avanço tecnológico nos ajuda a resolver tarefas simples diárias: transações bancárias, chamar um táxi, pedir uma pizza, e do outro lado, as fragilidades humanas vem sendo potencializadas. Das redes sociais nutridas pela inteligência artificial, dos automóveis autónomos aos edifícios e cidades inteligentes, cada vez mais estamos rodeados de tecnologia.

A inquietude nasce da percepção que toda essa revolução é baseada em modelos de negócios concebidos com velocidade da luz. As empresas de capital aberto sofrem pressões por crescimento de curto prazo. Investidores demandam rapidez nos retornos de suas apostas. Stakeholders têm metas de lucro a atingir. Por sua vez, os Designers também têm OKRs. O Capitalismo remanesce com força, designers são induzidos a atuar em projetos que visam meramente os negócios, desconsiderando princípios, pessoas e o meio ambiente. E qual o resultado de tudo isso? Qual o efeito dessas soluções de design em milhões de pessoas, diferentes idiomas, diferentes culturas? Ainda que haja uma profunda atuação de um profissional de User Researcher, é quase impossível prever e medir o impacto desses modelos de negócios na humanidade. Ao usar a tecnologia, geralmente tendemos a ser otimistas em todas as coisas que ela faz por nós, mas nem sempre é assim. E um desses impactos seria a Uberização (“the rise of the useless classes”) que de certa forma foi profetizado por

Yuval Noah Harari:

“No século 21, podemos testemunhar a criação de uma nova e maciça classe trabalhadora: pessoas desprovidas de qualquer valor econômico, político ou mesmo artístico, que não contribuem em nada para a prosperidade, poder e glória da sociedade. Essa “classe inútil” não ficará apenas desempregada — ela não será empregável.”

Seguindo uma perspectiva desfavorável, porém realista, não podemos deixar de mencionar: O aumento recente do nível de colesterol entre as crianças, já que consomem cada vez mais comida de fast foods de deliverys, entregadores de delivery utilizando bicicleta sem proteção de capacete e carregando peso extra nas costas, motoristas de aplicativos que são estimulados a trabalhar mais de 12 horas por dia, sem contar FoMO (“Fear of missing out”, ou seja, o medo de ficar de fora) e sobretudo, os dados provocadas pelas plataformas de mídia sociais. Que ancoradas na neurociência, exploram a nossa criação de significado, validação e aprovação social. Embora as mídia sociais tenham o potencial de conectar pessoas e fornecer um senso de comunidade, elas também podem contribuir para sentimentos de isolamento, cyberbullying, insegurança, sofrimento emocional e, por fim, suicídio. Os jovens são as maiores vítimas, e a taxa de suicídio está crescendo constantemente em todo o mundo.

Neurociência — poder de decisão

Há também questões tão relevantes, quanto invisíveis, como a redução da capacidade de decisão dos usuários, a partir de menus manipulados nossas escolhas nem sempre são as que precisamos ou gostaríamos. A tecnologia sequestra a maneira como percebemos nossas escolhas e as substitui por novas.

O poder de influência sobre o outro nas mãos das gigantes tecnológicas pode gerar um domínio perigoso de massas e pensamentos. Queremos delegar o nosso poder de decisão aos algoritmos?

Narcisismo Digital & Dopamina

Ainda no tema da Neurociência, Tristan Harris, ex Google Design Ethicist, explica no documentário “the social dilemma” que é muito mais barato viciar uma pessoa a chamar a atenção de outras pessoas do que tentar chamar sua atenção das pessoas de forma individual. É a cultura do Narcisismo, onde somos estimulados a postar coisas. Cria-se uma dinâmica social em que as pessoas seguem umas às outras o tempo todo, de forma instantânea, independente de qualquer familiaridade ou laço. Essa compulsão por ser um influenciador é nutrida pelas AIs, que manipulam os algoritmos de tal forma que pareça tudo natural.

E o mais crítico em tudo isso, é que o uso excessivo das redes sociais é prejudicial para a saúde mental. Estímulos constantes e os reforços positivos, como curtidas e comentários, disparam a produção de dopamina, uma das moléculas responsáveis pelo prazer. Fomentando assim a dependência no nosso sistema de recompensa cerebral, que dizer, vira uma busca insaciável por essa sensação.

Desse modo, é crucial ampliar a conversa para entender se as AIs calculam o que é bom para nós ou o que é bom para manter nossa atenção, e o quanto ela corrobora com a humanidade ou até mesmo a democracia.

Ética nos primórdios da Filosofia

A concepção do alinhamento da tecnologia com nossas próprias mentes e limites pode ter uma raiz na Grécia antiga (384 a.C. — 322 a.C.) — Aristóteles, o pai da ética. Segundo o filósofo:

A Ética é uma disciplina filosófica que se preocupa com o estudo dos princípios morais e dos valores que orientam o comportamento humano. Ela se concentra em analisar o que é considerado certo ou errado, bom ou mau, justo ou injusto nas ações humanas e nas interações sociais.

Em resumo, a ética de Aristóteles visa alcançar o florescimento humano, por meio do cultivo de virtudes e do desenvolvimento de um caráter virtuoso, levando os indivíduos a tomar decisões moralmente corretas e justas.

Responsabilidade do Designer

Mas até que ponto esses código de ética ou conjuntos se fazem eficientes no dia a dia de uma startup ou uma grande organização empenhada em gerar lucros? Qual é a responsabilidade do indivíduo que compõem essas organizações? Quem deveria levantar os pontos sobre a ética? Partimos da premissa que todo designer deveria olhar para um código de ética e ter consciência sobre sua conduta e seus valores pessoais. O designer é responsável pelo trabalho que coloca no mundo, isso significa ajudar ou prejudicar alguém. O valor do trabalho do Designer deve ser medido com base no impacto, ao invés de aspectos estéticos. O designer não deveria se limitar a executar tecnicamente o seu trabalho, mas sim aconselhar e avaliar o impacto do projeto. Se acaso o impacto for negativo, os efeitos econômicos, sociais e ecológicos, deveriam ser relatados a liderança. É óbvio que pode ser contra os incentivos e as métricas. Como a famosa citação de Upton Sinclair: você não pode fazer as pessoas questionarem algo que seu salário depende de não verem. Nem sempre será fácil, mas basta lembrar que pode afetar milhões de pessoas.

Restrições e Desafios fazem parte da vida

Ray Eames, Designer e arquiteto concluiu que:

O Design é a solução intencional para um problema dentro de um conjunto de restrições. A importância de considerar as restrições e desafios específicos ao criar soluções eficazes e funcionais.

Ou seja, restrições fazem parte, e ser capaz de contorná-las para trazer o equilíbrio é o esperado do Designer. Isso inclui ir a campo, conhecer e conversar com os ciclistas entregadores de pizza. Entender se estão realizando as suas refeições, se tem tempo, dinheiro ou mesmo um local adequado para se alimentar, momento para promover a empatia.

O despertar das Big techs

Observa-se que o assunto já é motivo de preocupações nas Big techs, não é à toa que Apple, Android, Instagram, etc já mostram ao usuário informações como por exemplo: tempo e limitadores de uso dos celulares ou app. No entanto, não é suficiente, já que a maioria das pessoas opera com a configuração padrão. E que tem muita lógica com um estudo que realizei em 2012 sobre as “Configurações de Privacidade do Facebook” em 2012 (Projeto para a Conclusão da pós de Ergodesign na PUC). Usuários se queixavam quando eram “tagueadas” em fotos dos amigos sem o prévio consentimento. Na época, a plataforma disponibilizava uma configuração para bloquear essa ação. Mas as pessoas não utilizavam, algumas nem imaginavam que existia essa opção.

Em uma última análise…

Vejo que os user researchers são os que devem iniciar a conversa sobre como tornar a tecnologia mais humana. Visto que são eles que trazem os humanos para toda essa equação e os expõe para as equipes de produtos.

Como disse o Henry Beston — escritor e naturalista americano -

“Todo ser humano é obrigado a fazer o melhor possível para deixar este planeta em melhor forma do que o encontramos. Designers não podem ser diferentes.”