Bookmarked Regulation (EU) 2024/1689 of the European Parliament and of the Council of 13 June 2024 laying down harmonised rules on artificial intelligence

Finalised in June, the AI Act (EU 2024/1689) was published yesterday 12-07-2024 and will enter into force after 20 days, on 02-08-2024. Generally the law will be applicable after 2 years, on 02-08-2026, with. a few exceptions:

  • The rules on banned practices (Chapter 2) will become applicable in 6 months, on 02-02-2025, as will the general provisions (Chapter 1)
  • Parts such as the chapter on notified bodies, general purpose AI models (Chapter 5), governance (Chapter 7), penalties (Chapter 12), will become applicable in a year, on 02-08-2025
  • Article 6 in Chapter 3, on the classification rules for high risk AI applications, will apply in 3 years, from 02-02-2027

The purpose of this Regulation is to improve the functioning of the internal market by laying down a uniform legal framework in particular for the development, the placing on the market, the putting into service and the use of artificial intelligence systems (AI systems) in the Union, in accordance with Union values, to promote the uptake of human centric and trustworthy artificial intelligence (AI) while ensuring a high level of protection of health, safety, fundamental rights as enshrined in the Charter of Fundamental Rights of the European Union (the ‘Charter’), including democracy, the rule of law and environmental protection, to protect against the harmful effects of AI systems in the Union, and to support innovation. This Regulation ensures the free movement, cross-border, of AI-based goods and services, thus preventing Member States from imposing restrictions on the development, marketing and use of AI systems, unless explicitly authorised by this Regulation.

A little over a decade ago I was at a small conference, where I happened to share the stage with a British lawyer, Polly Higgins, seeking to internationally criminalise ‘ecocide’, alongside various other speakers. One of those others was a self declared rationalist running a data driven research start-up with billionaire funding. He believed the trickle down innovation trope that usually ends in pulling up the ladder behind them, which can be readily found around all things tech-singularity. And he called himself a futurist. After the talks we as speakers stood on and in front of the stage chatting about the things that had been presented. The futurist, addressing me and one other speaker, chuckled that ‘that eco-lady’ had a nice idea but a naive unrealistic and irrational one that obviously had zero probability of happening. At the time I found it jerkish and jarring, not least given the guys’s absence of expertise in the fields concerned (environment and international law). It’s one of the key moments I remember from that conference, as the condescending remark so strongly clashed with the rest of the event and atmosphere.

Meanwhile we’re some 10 years into the future of that conference. The futurist’s efforts collapsed soon after the conference it seems and there are no recent online traces of him. Polly Higgins is no longer alive, but her cause has very much outlived her. On 26 March the final step in the legislative path of a renewed Directive on the protection of the environment through criminal law has been taken, when the Council of the EU formally approved the text agreed (last November) with the European Parliament. In that new ecocrimes directive preamble 21 uses the phrase ecocide to describe specific crimes covered in the Directive (PDF).

Criminal offences relating to intentional conduct listed in this Directive can lead to catastrophic results, such as widespread pollution, industrial accidents with severe effects on the environment or large-scale forest fires. Where such offences cause the destruction of, or widespread and substantial damage which is either irreversible or long-lasting to, an ecosystem of considerable size or environmental value or a habitat within a protected site, or cause widespread and substantial damage which is either irreversible or long-lasting to the quality of air, soil, or water, such offences, leading to such catastrophic results, should constitute qualified criminal offences and, consequently, be punished with more severe penalties than those applicable in the event of other criminal offences defined in this Directive. Those qualified criminal offences can encompass conduct comparable to ‘ecocide’, which is already covered by the law of certain Member States and which is being discussed in international fora.

Good work barrister Higgins, and the Stop Ecocide organisation.


A photo taken by Polly Higgins of me as we had fun together driving an all electric ‘motor bike’ around the venue’s hallways at that conference in 2013.

Polly Higgins about to take the e-chopper for a spin through the venue.

Bookmarked China Seeks Stricter Oversight of Generative AI with Proposed Data and Model Regulations (by Chris McKay at Maginative)

Need to read this more closely. A few things stand out at first glance:

  • This is an addition to the geo-political stances that EU, US, China put forth w.r.t. everything digital and data. A comparison with the EU AI Regulation that is under negotiation is of interest.
  • It seems focused on generative AI solely. Are there other (planned) acts covering other AI applications and development. Why is generative AI singled out here, because it has a more direct population facing character?
  • It seems to mostly front-load the responsibilities towards the companies producing generative AI applications, i.e. towards the models used and pre-release. In comparison the EU regulations incorporates responsibilities for distributors, buyers, users and even users of output only and spans the full lifetime of any application.
  • It lists specific risks in several categories. How specific are those worded, might there be an impact on how future-proof the regulation is? Are there thresholds introduced for such risks?

Let’s see if I can put some AI to work to translate the original Chinese proposed text (PDF).

Via Stephen Downes, who is also my source for the link to the original proposal in PDF.

By emphasizing corpus safety, model security, and rigorous assessment, the regulation intends to ensure that the rise of [generative] AI in China is both innovative and secure — all while upholding its socialist principles.

Chris McKay at Maginative

Since the start of this year I am actively tracking the suite of new European laws being proposed on digitisation and data. Together they are the expression into law of the geopolitical position the EU is taking on everything digital and data, and all the proposed laws follow the same logic and reasoning. Taken together they shape how Europe wants to use the potential and benefits of digitisation and data use, including specifically for a range of societal challenges, while defending and strengthening citizen rights. Of course other EU legal initiatives in parallel sometimes point in different directions (e.g. EU copyright regulations leading to upload filters, and the attempts at backdooring end-to-end encryption in messaging apps for mass surveillance), but that is precisely why to me this suite of regulations stands out. Where other legal initiatives often seem to stand on their own, and bear the marks of lobbying and singular industry interests, this group of measures all build on the same logic and read internally consistent as well as an expression of an actual vision.

My work is to help translate the proposed legal framework to how it will impact and provide opportunity to large Dutch government data holders and policy departments, and to build connections and networks between all kinds of stakeholders around relevant societal issues and related use cases. This to shape the transition from the data provision oriented INSPIRE program (sharing and harmonising geo-data across the EU), to a use needs and benefits oriented approach (reasoning from a societal issue to solve towards with a network of relevant parties towards the data that can provide agency for reaching a solution). My work follows directly from the research I did last year to establish a list of EU wide high value data sets to be opened, where I dived deeply into all government data and its governance concerning earth observation, environment and meteorology, while other team members did the same for geo-data, statistics, company registers, and mobility.

All the elements in the proposed legal framework will be decided upon in the coming year or so, and enter into force probably after a 2 year grace period. So by 2025 this should be in place. In the meantime many organisations, as well as public funding, will focus on already implementing elements of it even while nothing is mandatory yet. As with the GDPR, the legal framework once in place will also be an export mechanism of the notions and values expressed in it to the rest of the world. This as compliance is tied to EU market access and having EU citizens as clients wherever they are.

One element of the framework is already in place, the GDPR. The newly proposed elements mimic the fine structures of the GDPR for non-compliance.
The new elements take the EU Digital Compass and EU Digital Rights and Principles for which a public consultation is now open until 2 September as a starting point.

The new proposed laws are:

Digital Markets Act (download), which applies to all dominant market parties, in terms of platform providers as well as physical network providers, that de facto are gatekeepers to access by both citizens and market entities. It aims for a digital unified market, and sets requirements for interoperability, ‘service neutrality’ of platforms, and to prevent lock-in. Proposed in November 2020.

Digital Services Act (download), applies to both gatekeepers (see previous point) and other digital service providers that act as intermediaries. Aims for a level playing field and diversity of service providers, protection of citizen rights, and requires transparency and accountability mechanisms. Proposed in November 2020.

AI Regulatory Proposal (download), does not regulate AI technology, but the EU market access of AI applications and usage. Market access is based on an assessment of risk to citizen rights and to safety (think of use in vehicles etc). It’s a CE mark for AI. It periodically updates a list of technologies considered within scope, and a list of areas that count as high risk. With increasing risk more stringent requirements on transparency, accountability and explainability are set. Creates GDPR style national and European authorities for complaints and enforcement. Responsibilities are given to the producer of an application, distributors as well as users of such an application. It’s the world’s first attempt of regulating AI and I think it is rather elegant in tying market access to citizen rights. Proposed in April 2021.

Data Governance Act (download), makes government held data that isn’t available under open data regulations available for use (but not for sharing), introduces the European dataspace (created from multiple sectoral data spaces), mandates EU wide interoperable infrastructure around which data governance and standardisation practices are positioned, and coins the concept of data altruism (meaning you can securely share your personal data or company confidential data for specific temporary use cases). This law aims at making more data available for usage, if not for (public) sharing. Proposed November 2020.

Data Act, currently open for public consultation until 2 September 2021. Will introduce rules around the possibilities the Data Governance Act creates, will set conditions and requirements for B2B cross-border and cross-sectoral data sharing, for B2G data sharing in the context of societal challenges, and will set transparency and accountability requirements for them. To be proposed towards the end of 2021.

Open Data Directive, which sets the conditions and requirements for open government data (which build on the national access to information regulations in the member states, hence the Data Governance Act as well which does not build on national access regimes). The Open Data Directive was proposed in 2018 and decided in 2019, as the new iteration of the preceding Public Sector Information directives. It should have been transposed into national law by 1 July 2021, but not all MS have done so (in fact the Netherlands has just recently started the work). An important element in this Directive is EU High Value Data list, which will make publication of open data through APIs and machine readable bulk download mandatory for all EU member states for the data listed. As mentioned above, last year I was part of the research team that did the impact assessments and proposed the policy options for that list (I led the research for earth observation, environment and meteorology). The implementation act for the EU High Value Data list will be published in September, and I expect it to e.g. add an open data requirement to most of the INSPIRE themes.

Most of the elements in this list are proposed as Acts, meaning they will have power of law across the EU as soon as they are agreed between the European Parliament, the EU council of heads of government and the European Commission and don’t require transposition into national law first. Also of note is that currently ongoing revisions and evaluations of connected EU directives (INSPIRE, ITS etc.) are being shaped along the lines of the Acts mentioned above. This means that more specific data oriented regulations closer to specific policy domains are already being changed in this direction. Similarly policy proposals such as the European Green Deal are very clearly building on the EU digital and data strategies to achieving and monitoring those policy ambitions. All in all it will be a very interesting few years in which this legal framework develops and gets applied, as it is a new fundamental wave of changes after the role the initial PSI Directive and INSPIRE directive had 15 to 20 years ago, with a much wider scope and much more at stake.


The geopolitics of digitisation and data. Image ‘Risk Board Game’ by Rob Bertholf, license CC BY

Het NRC meldt dat er een spoedwet komt om de noodmaatregelen tegen de pandemie juridisch beter te borgen. Na een korte uitwisseling (via Mastodon) met Remkus de Vries hierover, schrijf ik mijn gedachten er bij maar eens uit.

Tot nu toe gold ‘nood breekt wet’: de momenteel afgekondigde maatregelen zijn bij wijze van noodverordening ingevoerd. Daarin staan dingen die strijdig zijn met de grondwet (zoals samenkomstverboden) en verschillende rechten in de praktijk opschorten. Dergelijke noodverordeningen zijn door de 25 veiligheidsregio’s ingesteld, onder coördinatie van ministeries. De veiligheidsregio’s worden bestuurd door de burgemeesters van de gemeenten in die regio, en zij zijn het die de verordeningen invoeren. Ik heb een aantal van die verordeningen gelezen, en hoewel er wel doelbinding in staat (de verordening is direct gekoppeld aan de pandemie), stond er geen einddatum in. Daarnaast is er geen parlementaire controle op deze gang van zaken, want langs die weg komt het niet tot stand. Verder maakte ik me niet heel veel zorgen over die noodverordeningen, juist omdat het de ongeveer 400 burgemeesters zijn die het instellen. Zoveel anti-democraten staan er niet tegelijk op in ons land, en als er maar een enkeling daarvan publiekelijk zijn steun terugtrekt valt het geheel vanzelf in duigen.

De nieuwe wet moet nu de noodverordeningen gaan vervangen. Dat is op zich logisch, die verordeningen zijn bedoeld voor de korte termijn tijdens een acute crisis. In die eerste chaotische fase houd je rekening met verschillende mogelijkheden, zo waren er in 2000 na de vuurwerkramp bij ons in Enschede het eerste weekend blokkades op de snelwegen om ramptoerisme te voorkomen, en staan sinds het begin van de pandemie mariniers stand-by in Doorn om binnen 6 of 12 uur ingezet te worden voor het bewaken van de openbare orde.
Na een eerste vaak wat chaotische fase ontstaat er een nieuw plateau waarin je voor de middellange termijn de boel moet regelen. Van acute crisis naar langere uitzonderlijke situatie. Dan is er behoefte aan stabielere regels en onderbouwing daarvan, omdat de medewerking en het vertrouwen van ons als burgers anders terecht afnemen naarmate de tijd vordert. Die fase is nu duidelijk aangebroken, de eerste piek van de epidemie in ons land wordt langzaam gepasseerd, en het is helder dat totdat er een vaccin of behandeling is, danwel we allemaal het virus gehad hebben, we rondom het evenwichtspunt maatregelen moeten op- en afschalen om te zorgen dat het zorgsysteem kan blijven functioneren. Die periode duurt nog wel een jaar, of misschien wel twee. Er wordt gekozen voor een nieuwe wet, in plaats van een nu al wel mogelijk zwaarder middel, het verkondigen van de noodtoestand. Dat zwaardere middel is door zijn zwaarte ook ongerichter, en de steun er voor zal eveneens snel afbrokkelen als men die noodtoestand niet om zich ook zo voelt zoals in de eerste chaos van een crisis.

Die nieuwe wet wordt nu aangekondigd als tijdelijk en gericht op de pandemie. Maar de ervaring leert dat wat als tijdelijk wordt aangekondigd en gestart lang niet altijd tijdelijk blijft. De ervaring leert ook dat een langzaam kruipende scope, leidend tot het gebruik van regelingen voor doeleinden waarvoor die regelingen niet tot stand zijn gebracht, niet ongebruikelijk is (anti-terreurwetgeving is er een mondiaal voorbeeld van).

In complexe situaties kun je weinig voorzien, ervaring van eerder heeft geen voorspellende waarde voor de toekomst. Daarom zijn heldere grenzen en waarden noodzakelijk. Dat doe je voor kinderverjaardagsfeestjes (niet van de oprit af! blijf met je tengels uit de drankkast! niet met schoenen aan naar binnen rennen!), en dat moeten we ook doen voor een spoedwet als deze. Dat het een spoedwet is wil niet zeggen dat het ok is om je principiële afwegingen opzij te zetten, omdat je denkt dat je dat later wel kunt repareren. Juist andersom, bij een spoedwet moet je zeer strikt zijn met je voorwaarden, zodat je daarbinnen bewegingsruimte hebt om situationeel te schakelen naar wat nodig is. (Dat zagen we afgelopen weken ook met de Corona-apps. Daar werden principiële uitgangspunten opgesteld, maar vervolgens niet gehanteerd bij het filteren van kandidaten. Dan krijg je “Ja privacy heel belangrijk, dat lossen we straks wel op”, met als gevolg dat geen van de uiteindelijk voorgestelde apps door de beugel kon. Dat had je ook kunnen weten voor de ‘appathon’ begon, bij die allereerste filtering omdat je daar je uitgangspunten al losliet.)

Wat mij betreft zijn lakmoesproeven voor een spoedwet*:

  • De wet is gekoppeld aan de Corona epidemie. De wet kan niet worden gebruikt voor zaken die niet bijdragen aan de bestrijding van de epidemie. Elke getroffen maatregel op basis van deze wet moet gemotiveerd worden op basis van de epidemie.
  • Er staat een einddatum in de wet, waarop deze zijn geldigheid verliest. Alleen aangeven dat het een ‘tijdelijke’ wet betreft is niet genoeg. Een einddatum is nodig.
  • Die einddatum is dichterbij gesteld dan dat we nu denken dat de pandemie duurt. Dus niet over 2 jaren, maar over maximaal een paar maanden.
  • De wet kan alleen worden verlengd als het parlement voor verlenging stemt onder vaststelling van een nieuwe einddatum die wederom hooguit enkele maanden in de toekomst ligt.
  • Naast een einddatum waarop de wet zonder verlenging buiten kracht raakt, is ook opgenomen wat de maximale termijn is waarna verlenging door het parlement niet meer mogelijk is. Daarmee is gegarandeerd dat vooraf bekend is wanneer de wet uiterlijk buiten werking treedt.
  • Het is niet voldoende dat het parlement niet tegen verlenging gestemd heeft. Het parlement moet voor verlenging stemmen. Als er geen stemming plaats heeft gevonden bijvoorbeeld dan vervalt de wet op de dan geldende door het parlement vastgestelde einddatum.
  • De wet geeft een limitatieve opsomming van onder de wet mogelijke maatregelen die grondwettelijke rechten geheel of gedeeltelijk opschorten. Wat niet in die opsomming staat is niet mogelijk als maatregel. Het parlement kan bij verlenging de limitatieve opsomming inkorten.
  • De maatregelen worden alsnog via verordeningen in de veiligheidsregio’s, met de zelfde einddatum als de wet, van kracht. Die verordeningen bevatten de motivatie voor de inzet van elke specifieke maatregel. Dit maakt regionale variatie mogelijk, en dwingt tot motivatie van maatregelen in regionale context. Wat nuttig is voor Noord-Brabant is dat wellicht niet voor Friesland. Wat passend is voor de kust of de Amsterdamse binnenstad is dat niet automatisch ook voor de Drentse hei of het grensgebied met Duitsland. En vice versa.
  • Burgers staat de gang naar de rechter vrij om de toepassing van een maatregel en de motivatie daarvoor op basis van het eerste uitgangspunt te laten beoordelen.
  • De nationale ombudsman is daarnaast aangewezen voor het ontvangen van klachten over de inzet van maatregelen, en doet verslag daarover aan het Parlement en het algemeen publiek op zijn minst voor elke stemming over verlenging of zoveel vaker als de ombudsman daar het belang van ziet. De overheid voert gedurende de looptijd van de wet actief campagne om mensen op de mogelijkheid tot klachten indienen te wijzen. De aantallen ontvangen klachten en de aard van de klachten worden doorlopend actief openbaar gemaakt door de ombudsman. De spoedwet mag niet de werking van artikel 78a van de Grondwet inperken (die de ombudsman en andere Hoge Colleges van Staat regelt).
  • De wet stelt niets over benodige of gewenste dataverzameling, noch stelt het het algemeen belang van openbaarheid buiten werking of ter discussie. Integendeel, de wet eist actieve openbaarmaking door betrokken overheden van alle documentaire informatie die betrekking heeft op de ten uitvoerlegging van de spoedwet. Het bijzondere karakter van de wet maakt actieve volledige transparantie van het gebruik van die wet noodzakelijk.

Met dergelijke voorwaarden maakt nood met meer waarschijnlijkheid een redelijke wet, en breekt de nood niets onvervangbaars.

Ik vertrouw er op dat de liberale premier niet genegen zal zijn om het werk van Thorbecke ongedaan te maken. Maar er zitten meerdere anti-democraten in het parlement, en er komen verkiezingen. Het is riskant om op enig moment uit gevoelde nood ambigue wetten aan te nemen zonder op voorhand een uiterste houdbaarheidsdatum, andere harde grenzen en volledige transparantie over het gebruik van de wet daarin vast te leggen.

Zodra het wetsontwerp naar de Tweede Kamer gaat zullen we zien of het kabinet op zoek is naar een voldoende stevig hek, of alleen lippendienst bewijst aan tijdelijkheid en proportionaliteit.

*Ik ben geen jurist. De opsomming is dus een mening, ongeacht wat wel en niet mogelijk is in ons wetgevingsproces. De opsomming is gebaseerd op omgang met complexiteit: het trekken van zo duidelijk mogelijke grenzen, die nodig zijn om in een complexe situatie te kunnen handelen. Naast duidelijk, moeten die grenzen proportioneel zijn en eenmaal geplaatst absoluut (als je een paard in een weiland wil houden zet je een hek om het weiland, niet om de polder waarin het weiland ligt, en niet willekeurig op verschillende plekken midden in het weiland.). Met die grenzen mag niet gemarchandeerd worden (Als het hek eenmaal om het juiste weiland staat verplaats je het niet), want dat leidt van complexiteit snel terug naar chaos, in plaats van naar meer voorspelbare stabiliteit op termijn.

Bookmarked Do we really want to “sell” ourselves? The risks of a property law paradigm for personal data ownership. by Elizabeth Renieris and Dazza Greenwood

Elizabeth Renieris and Dazza Greenwood give different words to my previously expressed concerns about the narrative frame of personal ownership of data and selling it as a tool to counteract the data krakens like Facebook. The key difference is in tying it to different regulatory frameworks, and when each of those comes into play. Property law versus human rights law. [UPDATE in the EU digital data cannot be owned, as it isn’t an object. There may be intellectual property rights to databases (but not to data where it is factual).]

I feel the human rights angle also will serve us better in coming to terms with the geopolitical character of data (and one that the EU is baking into its geopolitical proposition concerning data). In the final paragraph they point to the ‘basic social compact’ that needs explicit support. That I connect to my notion of how so much personal data is also more like communal data, not immediately created or left by me as an individual, but the traces I leave acting in public. At Techfestival Aza Raskin pointed to fiduciary roles for those holding data on those publicly left personal data traces, and Martin von Haller mentioned how those personal data traces also can serve communal purposes and create communal value, placing it in yet another legal setting (that of weighing privacy versus public interest).

…viewing this data as property that is capable of being bought, sold, and owned by others is in large part how we ended up with a broken internet funded by advertising — or the “ad tech model” of the Internet. A property law-based, ownership model of our data risks extending this broken ad tech model of the Internet to all other facets of our digital identity and digital lives expressed through data. While new technology solutions are emerging to address the use of our data online, the threat is not solved with technology alone. Rather, it is time for our attitudes and legal frameworks to catch up. The basic social compact should be explicitly supported and reflected by our business models, legal frameworks and technology architectures, not silently eroded and replaced by them.

Elizabeth Renieris and Dazza Greenwood