The cost of AI and other challenges

I stumbled upon this fascinating article by Stuart Mills looking at the challenges that further development and operations of AI models face.

The costs of model development and operation are increasing. Efficiencies in development and operation are challenging but may be addressed in the future. However, model quality remains a significant challenge that is more difficult to solve.

Data is running out. Solutions such as synthetic data also have their limitations.

There is also a severe challenge around chips. There is a supply shortage in the context of geopolitical tensions between China, the US, and the EU. Also, the environmental costs of running large AI models are significant.

The costs of model development and operation are increasing. Efficiencies in development and operation are challenging but may be addressed in the future. However, model quality remains a significant challenge that is more difficult to solve.

Data is running out. Solutions such as synthetic data also have their limitations.

There is also a severe challenge around chips. There is a supply shortage in the context of geopolitical tensions between China, the US, and the EU. Also, the environmental costs of running large AI models are significant.

Two revenue models may emerge in the AI industry, each with its own take on the cost aspects highlighted above. The first is the ‘foundation model as a platform’ (OpenAI, Microsoft, Google), which demands increasing generality and functionality of foundation models.

The second is the ‘bespoke model’ (IBM), which focuses on developing specific models for corporate clients.

Government action can support and undermine the AI industry. Investment in semiconductor manufacturing in the US and China may increase the supply of chips, and strategic passivity from governments around regulations such as copyrights is suitable for the industry. Government interventions should regulate the AI industry in areas related to the socially and environmentally damaging effects of data centers, copyright infringement, exploitation of laborers, discriminatory practices, and market competition.

AI, duh; make it personal (and analog)

ai photographer
The competition

When Artificial Intelligence-generated images win photo contests, should we oppose that?

I just think the developments of AI are telling us to do things differently, to stand out. AI has become the competition (and maybe just a tool), just like all other photographers are. So, we have to treat AI as competition, too. You can try to deny this reality, but you can also look at how you, as a photographer or artist, can differentiate yourself from this new collegue/competition.

Ideas:

  • Stories instead of single images. Combine with text.
  • An analog version of your work: a print, a book, wallpaper, toilet paper, t-shirts, quilt covers, printed bags, whatever.
  • Combine your photos into a video.
  • Handmade books.
  • Collages.

Personal and analog distinguish you from the aggregated, statistically generated products of AI.

AI credibility

Some thoughts regarding the current Artificial Intelligence hype.

Why We Need a Realistic View of AI

I am not among the people that believe AI technology is going to make humans superfluous. Like any technology, AI technology can be a blessing and a curse. AI technology does have its dangerous sides, and we should focus our attention on these aspects, and try not to get lost in religious debates. I think we should look at:

  • Transparency on the (quality of the) inputs for the AI-based software solutions.
  • Transparency on the (energy) cost of AI solutions.
  • Clarity about the possibilities and more importantly, the limitations of AI solutions.
  • Regulations on ownership of important data sets.

The quality of AI outputs

The most fundamental threat from AI technologies comes from its inputs. The quality of the output of the AI is directly dependent on the quality of the data fed into the AI’s learning process. If you cannot control the quality of the data you use to train the AI model, you cannot control the quality of the output either. (Most research in this respect is done in the area of so-called biases. What I mean here is more generic: how to assure the reliability of any data feed into an AI.)

Groene Amsterdammer 3 - 2023 - artwork niek de greef

The role of AI on social media

Any benevolent social medium platform that exploits AI technology has a great challenge: how do you curate the social media fed into the platform? How to distinguish real trends from fake ones. How do you prevent bots from people or organizations with malicious intentions to enter unreliable information into the stream, thereby using the social media platform to spread incorrect information, or ‘fake news’ as it become known by since Donald Trump.

Governments are debating how to regulate these unreliable and often uncontrollable social media streams. The first and probably the easiest thing to demand from social media companies is to apply journalistic principles: transparency over the sources of information. I think this is the most reliable and easiest measure that can be taken. Examining the algorithms, as is suggested sometimes, is very difficult, for the provider as well as the examiner. Instead of looking inside the AI box, we can judge the input to the AI, and make significant judgments on the reliability of the AI’s outputs.

AI and humanity

AI technology de-humanizes. When AI takes over more of our jobs and activities, what is left over to humans? What if AIs at some point have gained superior thinking power over humans? What is the purpose of men then? Humans become subordinate to AI intelligence. We lose the one thing that has always distinguished us from the rest of the living creatures on this planet: our superior thinking abilities. I do not think that the current AI technology is even close to taking over our thinking abilities. Later in this article, I will argue why I think so. Yet, in the sense that AI technology is the next step in taking over tasks that so far only humans could do, yes, AI takes some of that ‘humanity’ away. Jobs will be lost. But that is not a very revolutionary development. The calculator took over calculations, the early computer took over bookkeeping, and the later computer replaced our paper agendas, assembly lines, and our cars.

Energy consumption

Our brains need a lot of energy: our 2% brain is responsible for 20% of the energy consumption of our body. AI requires a lot of energy as well. In January 2023, ChatGPT used as much energy as a mid-size town. A single question requires Apple’s Siri about 5 Wh of energy. A household uses something like 5000 kWh (in Europe, in the US it is double that figure). So, 200 questions to Siri is 1kWh. Then 1 million questions to Siri needs as much energy as a household in Europe in a year. That’s a lot.

If I ask Siri 3 questions per day, that is about 1000 questions per year. That is 5 kWh.

Does your Siri also tend to spontaneously answer questions you did not ask? 5W each.

Who benefits from the AIs?

Currently, large organizations drive the development of AI technology. Microsoft, Google, and IBM, all promise to make the world a better place, but skepticism is justified. Not only history has proven these companies strive to dominate the marketplace. According to economic theories, this is totally in line with expectations. And this is not the thing to be afraid of. Monopolies never last at are not scalable. At some point, monopolists can sell a greater quantity only by cutting its price. Microsoft came down, after years of trying to dominate the market with inferior Windows technology. (Yes Microsoft Office still dominates the text processing market, though I am not sure why that is the case, as very viable free products are available for quite some time now). IBM came down. Our own East-India Company came down. Google will come down. Facebook will come down.

What is problematic, however, is when technologies like AI end up solely in the hands of a single or a few parties and a power balance is disrupted. These parties can dominate others with these technologies. Totalitarian ruling could become a big problem. A relativizing thought, however… AI technologies are much more difficult, if not impossible, to contain then technologies nuclear weapons, for example.
You only need moderate capital for AI solutions. Open-source AI technologies are available for everyone. The problem is not the technology, the problem would be when a single party could claim exclusive access to data sources.
GPS data for example.

Why AI is miles away from human intelligence

The current AI technology is an analytical, stochastic process, invented in the last two decades of the 20th century. The process is very compute-intensive. Only recently our computers have become strong enough so we can make practical use of AI inventions.

The AI technology analyses past data, and is very clever at “predicting” future values for this data, or gathering ‘facts’ from data. The technology looks at input data and separates noise from signal by throwing out outliers and assigning likelihood values to remaining data points. With this, it can predict (not even calculate) probabilities for future values. That is all.

Nicholas Nassim Taleb has written a book called Fooled by Randomness. One of the points he proves in this book is that you can not predict “black swan” events from past data. The existence of black swan events can be proven through analytical math, but not predicted through stochastical math.
So AI is worthless when it comes to predicting black swan events. More specifically AI then useless for supposed applications like stock market predictions. Even professors in AI research areas are ignorant of these “black swan” limitations, arguing that just further growth of datasets would enable AI to become perfect predictors of the future (and become uber-humanly intelligent).

Out of curiosity, I asked ChatGPT about its ability to predict black swan events.
Here is his honest, modest answer.

AI systems, including those based on advanced algorithms like GPT-3.5, have limitations when it comes to predicting black swan events. Black swan events are extremely rare, unpredictable, and have a significant impact. These events are, by definition, unforeseen and often fall outside the range of normal expectations.

AI models, including machine learning algorithms, are generally trained on historical data. If black swan events have never occurred in the training set, the AI model would not have learned to predict them explicitly. Traditional AI models work based on patterns and correlations found in the data they were trained on. They are not capable of inventing entirely new and unprecedented events beyond the scope of their training data.

However, it’s essential to note that AI can help prepare for unexpected events, even if it cannot predict black swan events directly. Here’s how:

…

Despite these capabilities, it’s important to maintain a cautious approach when relying on AI for preparing for black swan events. Human judgment, expert analysis, and continuous monitoring are essential elements in mitigating the impacts of truly unforeseen and exceptional events.

Next, I will argue that the learning process of AI is so inherently different than human learning, that it would be naïve to expect that such processes would ever be able to teach an AI so much that they can mimic human intelligence. AIs could mimic aspects of human intelligence, but for development of more human-like intelligence, a different learning model would be required.

When we look at the AI learning process, machine learning, we see this is significantly different from human learning and experience. The difference between human learning and experience and Machine Learning in short. The AI takes larger amounts of information and learns from it. Sometimes this learning is (self-)directed. Humans take in large amounts of data, information, and experience. This human experience includes sensory information. Humans undergo years of learning from interactions with people. They get complex and ambiguous feedback. They learn from experiences. AI’s do not undergo experiences. At best experiences could be simulated. The learning processes for humans and AIs are so different from Machine Learning that is silly to expect that the two could ever produce similar results.

The AI gets:

  • Many data sets, in huge volumes, and these are largely uncurated.
  • Large undirected learning.

Man gets:

  • A curated (culturally, geographically, …) stream of information streams books, tv, anything internet,
    school, discussion, talks, magazines, Youtube, art, music …

  • Music,… What is music to an AI? Music is the thing that plugs right into our brains…
  • A in-born character (depending on where you are in the nature/nurture dimension).
  • Years of growing up, interactions with people, animals, things, …
  • Years of sensory information from 5 sources.
  • Emotional feedback from humans, animals…

I do not think there is much reason to be freightened of AI. The current state of AI is very very far from human intelligence. And the current technology misses fundamental functions to close that gap. We should not be afraid of that. Rather than getting distracted by pessimistic stories warning of the end of humankind, we should focus our efforts on the dangerous aspects of AI.

AI is just a tool not a miracle, and its health depends on what you feed it

AI-based social media enables the spreading of incorrect and potentially dangerous information. Other AI based applications struggle with curating the information fed into the tools. Without stringent curation, the AI application undermines its own credibility, as do the providers of services based on unreliable services. Which benevolent being wants to believe a social media channel that bases its information on unreliable data?
Who wants to rely on AI-based decisions if the decisions are learned from an unreliable data set?

Read more about Cal Newport’s analysis of AI.

Check out my tech projects and articles.

AI is helpless in the face of Black Swans

black swans in lake at inverness - photo by niek de greef

I am rereading Nicholas Nassim Taleb’s Fooled By Randomness. Historical data has much predictive power, but it can predict the Black Swans. A Black Swan is an event that:

  • Is extremely rare and lies outside the realm of regular expectations.
  • Has a large-scale impact.
  • IS Retrospectively (but not prospectively) predictable.

The book makes me think about today’s hype around AI.

Artificial Intelligence and Machine Learning live off of historical data. Black Swan events do not occur in historical data. So, the AI is as stupid as humans: our AI sees large amounts of white swans. So, if you ask the AI what color a swan is, it says white. Black swans do not exist for the AI either.

AI is worthless where Black Swan Events are concerned.

AI itself – ChatGPT – agrees:

AI systems, including those based on advanced algorithms like GPT-3.5, have limitations when it comes to predicting black swan events. Black swan events are extremely rare, unpredictable, and have a significant impact. These events are, by definition, unforeseen and often fall outside the range of normal expectations.

AI models, including machine learning algorithms, are generally trained on historical data. If black swan events have never occurred in the training set, the AI model would not have learned to predict them explicitly. Traditional AI models work based on patterns and correlations found in the data they were trained on. They are not capable of inventing entirely new and unprecedented events beyond the scope of their training data.

However, it’s essential to note that AI can be helpful in preparing for unexpected events, even if they cannot predict black swan events directly. Here’s how:

…

Despite these capabilities, it’s important to maintain a cautious approach when relying on AI for preparing for black swan events. Human judgment, expert analysis, and continuous monitoring are essential elements in mitigating the impacts of truly unforeseen and exceptional events.

Homo Deus recensie: Harari’s visie op AI en dataisme

Yuval Noah Harari’s Homo Deus schetst een toekomst waarin de mensheid streeft naar onsterfelijkheid, geluk en goddelijkheid. Het is een ambitieus boek, soms briljant in zijn historische analyses, soms frustrerend in zijn voorspellingen. Harari begint ironisch genoeg met de bewering dat voorspellen hoe de wereld eruitziet in de toekomst onzin is – om vervolgens 400 pagina’s aan voorspellingen te wijden. De thematiek van mens, technologie en toekomst kwam ook aan bod in deze VPRO documentaire over mensen, goden en technologie.

Hier mijn aantekeningen en kanttekeningen.

De drie doelen van de moderne mens

Harari stelt dat de moderne mens drie doelen nastreeft: onsterfelijkheid, geluk en goddelijkheid. Dit laatste vereist enige uitleg. Harari bedoelt dat de mens de hele wereld, alle leven, naar zijn hand wil zetten en vormen zoals hij dit wil. De mens heeft zich boven de rest van de wereld gesteld. Belangen van de mens gaan boven de belangen van elk ander wezen.

De portee van dit boek draait om wat er gebeurt als er een intelligentie ontstaat met vergelijkbare of grotere capaciteiten dan de mens. Dan kan het met de mens afgelopen zijn.

Harari illustreert hoe diep onze ambities in de cultuur zitten met een verrassend voorbeeld: het gazon. Het strak bijgewerkte grasveldje dat onze voor- en achtertuinen domineert, is ontstaan als statussymbool. Alleen de rijken konden zich in vroeger tijden een perfect onderhouden gazon permitteren. Nu streeft iedereen ernaar.

Religie breed gedefinieerd

Harari definieert religies opvallend breed. Ook communisme, liberalisme en nazisme ziet hij als religies. Hij legt dit uit aan de hand van het concept intersubjectieve entiteiten – zaken die alleen bestaan in de gedeelde fantasie. De EU, de Wereldbank, geld, naties: ze bestaan alleen omdat we er met zijn allen in geloven. Als we er niet meer in zouden geloven, zouden deze instituten in elkaar storten.

Religie is volgens Harari geloof in morele wetten. Dus ook communisme en liberalisme zijn in die zin religies, al hebben ze geen goden. Religie wil de wereldorde versterken. Een spirituele reis daarentegen is juist loskomen van de wereldorde.

Wetenschap kan de feiten waarop religieuze beweringen zich baseren onderzoeken en relativeren. Zo kan je ethische oordelen tegen feitelijke beweringen afwegen. Maar niet alle ethische disputen kunnen met wetenschappelijke feiten worden beslecht. Als een doel van de mens het streven is naar maximaliseren van menselijk geluk, hoe kun je dan feitelijk beoordelen of je dat doel bereikt? Daarom is volgens Harari altijd een religie nodig voor sturende ethische principes.

In de moderne maatschappij vormen humanisme en wetenschap de fundamenten. Wetenschap geeft macht over oorlog, voedsel, technologie. Religie – of in moderne vorm: humanisme – zorgt voor orde en sociale structuren. Ze werken hand in hand.

Het liberalisme en zijn alternatieven

Marktkapitalisme maakt groei heilig. Het kapitalisme is een succes gebleken – we hebben meer macht dan ooit. De keerzijde is een gebrek aan zingeving. Daarvoor kwam het humanisme op.

Binnen het humanisme zijn verschillende stromingen ontstaan. Het liberalisme stelt wat goed is voor het individu centraal. De vrije wil van het individu is het hoogste goed. Het nationalisme daarentegen streeft naar uniciteit van naties en collectieve identiteit. Het socialisme houdt rekening met de gevoelens van anderen, met als gevolg dat collectivistische instellingen het voor het zeggen hebben. Het evolutionair humanisme tenslotte ziet oorlog als essentieel omdat het de zwakken uitroeit. Dit leidde naar het nazisme.

Succesvolle religies, stelt Harari, zijn religies die de technologische realiteit erkennen en erop anticiperen. In eerste instantie was dit de reden voor het succes van het socialisme. Later raakte het socialisme de relatie met de realiteit kwijt en ging het ten onder. Het liberalisme daarentegen heeft technologie omarmd. Maar dit is ook zijn eigen valkuil, en dat is het belangrijkste beeld dat Harari wil weergeven in dit boek.

De vrije wil als illusie

Harari stelt dat de vrije wil een illusie is. Bewustzijn is een stroom van processen. De wil is een uitkomst, geen stuurmechanisme. Dit is te manipuleren, met transcraniale simulatoren bijvoorbeeld.

Ons zelf bestaat uit twee delen: een ervarende ik en een verhalende ik. De verhalende ik maakt een verhaal van onze werkelijke ervaringen. Dit verhaal is niet noodzakelijk accuraat.

De verhalende mens kan losgelaten worden en overgedragen aan statistische diensten als Google, die ons kunnen sturen op basis van gegevens over ons gedrag, DNA, etc. Zo kan het liberalisme ondergraven worden. Het verhalende zelf kan worden vervangen door een algoritme dat mijn mening beter kent en beter weet wat goed voor mij is.

Dataisme: de nieuwe religie

Harari voorspelt dat mensen hun economische waarde verliezen. Veel vormen van intelligentie worden overgenomen door computers. Taken die patroonherkenning vereisen. Volgens Harari kunnen uiteindelijk alle vormen van intelligentie door computers worden overgenomen. Wat is het nut nog van de mensheid?

Er dreigt een gevaar voor het ontstaan van elites: technologie alleen voor de waardevolle elite, inclusief bijvoorbeeld gezondheidszorg. Hierdoor ontstaat een “geüpgrade” supermens en een massa nutteloze mensen.

Harari identificeert twee nieuwe religies. Het dataisme stelt dat het stokje van de mensheid aan nieuwe entiteiten moet worden overgedragen. Het hoogste goed is vrijheid van informatie. Wat maakt mensen waardevol in dataisme? Ze kunnen bijdragen aan de datastroom. Het techno-humanisme daarentegen stelt dat een geüpgrade mens relevant blijft, maar zich moet blijven upgraden met nanotechnologie, computerinterfaces en genetische modificatie.

Het dilemma van techno-humanisme: hoe mensen upgraden zonder menselijke wil en beleving weg te reduceren? Gevaren zijn het kwijtraken van menselijke eigenschappen als dromen en fantaseren, omdat dit afleidt en inefficiënt is.

De mensheid als dataverwerkend systeem heeft tot doel een nóg efficiënter dataverwerkend systeem te maken. Zodra dat klaar is, is de betekenis van de mens verdwenen.

Waar Harari het mis heeft over AI

Hier kom ik bij mijn voornaamste kritiek op Harari’s betoog. Hij gaat eraan voorbij – en veel mensen weten dat niet – dat de huidige AI en machine learning hype geen fundamenteel nieuwe wetenschap tot basis heeft. Het enige waarop de ontwikkeling nu drijft is rekenkracht.

De leermechanismen zijn gebaseerd op geavanceerde stochastische berekeningen die al in de jaren negentig zijn bedacht. Deze algoritmen hebben nooit grote toepassingen gekend tot op heden omdat de rekenkracht van computers te laag was. Hardware-ontwikkelingen, zoals GPU’s, zorgen ervoor dat deze algoritmen nu wel bruikbaar zijn geworden.

De basis van deze mechanismen is een stochastisch leerproces. Door proberen van uitkomsten leert een algoritme wat de beste uitkomsten zijn. Dit is krachtig, maar men moet zich realiseren dat deze processen dus geen nieuwe algoritmen bedenken. Ze weten bestaande algoritmen dieper door te rekenen, waardoor bepaalde zaken met meer gegevens beter voorspeld kunnen worden.

De uitkomsten zijn waarschijnlijkheden. Door meer data en dieper rekenen kan de waarschijnlijkheid van een antwoord nauwkeuriger worden bepaald. Dat is iets fundamenteel anders dan een algoritme verbeteren, laat staan creëren. Er komen dus door AI en machine learning niet meer slimme algoritmen. Daarvoor is tot op heden nog steeds de mens nodig. En daar is nog geen begin van een alternatief voor in de computerwetenschap. Ik schreef hier eerder over in AI considered not so harmful.

Waar de mens en zijn wetenschap goed in zijn, is het bedenken van regels voor processen: de algoritmen. Het hoogst denkbare is in de natuurkunde een geünificeerde theorie die geldt op grote schaal en ook op kleine schaal – zowel voor astronomie als voor deeltjestheorie. Een algoritme bepaalt niet een waarschijnlijkheid, een algoritme berekent exact een uitkomst. Een fundamenteel verschil.

Overigens, ook algoritmen kunnen zeer onvoorspelbaar gedrag laten zien. De chaostheorie heeft dit laten zien. Een prachtig eenvoudig algoritme vertoont zeer complex gedrag, soms zelfs volkomen chaotisch gedrag. Ook Wolfram heeft hier uitgebreid verslag van gedaan in zijn “A New Kind of Science“.

Wat ontbreekt: doelen

Harari begint met de definitie van drie doelen die de mens nastreeft, en die de drijfveer vormen voor alle technologische ontwikkelingen: onsterfelijkheid, geluk en goddelijkheid. Alle datastromen die op gang zijn gebracht zijn middelen om deze doelen te bereiken.

Het dataisme van Harari stelt dat andere intelligenties deze middelen op een gegeven moment verder zouden kunnen ontwikkelen zonder dat daar voor de mens nog een rol is weggelegd.

Wat in het beeld van Harari echter ontbreekt zijn de doelen die deze intelligenties dan zouden nastreven. Hij definieert vrijheid van informatie als grootste goed, maar waar moet die vrijheid van informatie zich dan naartoe bewegen?

Nog een vraag die Harari niet beantwoordt: Is intelligentie los te koppelen van een bewustzijn? En als een andere niet-menselijke intelligentie een bewustzijn heeft, gaat deze dan niet aan dezelfde uitdagingen ten onder als de mens in het verhaal van Harari?

Bewustzijn en de ziel

Harari’s redenering over bewustzijn is curieus. Hij schrijft: “Het bestaan van de ziel is dus niet in overeenstemming te brengen met de evolutietheorie.” Wat een bijzondere betoogtrant. Ik zie niet in waarom hetzelfde niet zou opgaan voor bewustzijn.

Na de verhandeling die concludeert dat de ziel speculatie is, verdwijnt ook het bewustzijn inderdaad naar de prullenmand. “Het bewustzijn is het biologisch nutteloze nevenproduct van onze hersenen,” schrijft Harari. Het heeft morele waarde. En dat maakt ons juist menselijk.

Wat ons mensen uniek maakt is volgens Harari het vermogen om te kunnen samenwerken in grote groepen. Niet ons bewustzijn. Betekenis ontstaat door een web van verhalen. Betekenis kan langzaam uit elkaar vallen – ontkerkelijking bijvoorbeeld.

Tot slot

Harari’s definitie van een werkelijk bestaande entiteit: als het kan lijden. Bedrijven, geld, naties bestaan alleen in de verbeelding. Het wordt steeds moeilijker het onderscheid te blijven maken tussen wat echt is en wat we verzinnen.

Menselijke verzinsels worden vertaald naar genetische en biologische codes en veranderen zo de objectieve realiteit. Schrift beschrijft en vervormt de werkelijkheid.

Harari sluit af met een observatie die het hele boek samenvat: “Tegenwoordig ben je machtig als je weet wat [welke informatie] je kunt negeren.” In een wereld van oneindige datastromen is selectie macht.

Homo Deus is een fascinerend boek dat belangrijke vragen stelt over onze toekomst. Harari’s historische analyses zijn vaak scherpzinnig. Zijn voorspellingen over AI en dataisme zijn minder sterk, omdat ze voorbijgaan aan fundamentele beperkingen van huidige technologie. Toch blijft de kernvraag die hij stelt relevant: wat gebeurt er met de mensheid als we onze economische en misschien zelfs culturele waarde verliezen?

Homo Deus is de moeite waard voor iedereen die geïnteresseerd is in waar technologie ons naartoe brengt. Harari schrijft helder en toegankelijk. Zijn historische analyses zijn vaak verhelderend. Zijn voorspellingen neem je met een korrel zout, maar ze prikkelen wel tot nadenken. En dat is uiteindelijk waar een goed boek voor dient.

Heb je Homo Deus gelezen? Wat vond jij van Harari’s voorspellingen? Laat je gedachten in een reactie achter.