The concept of shadow IT is by no means new, it is a decades-old phenomenon that gained momentum with the advent of cloud services and the spread of increasingly advanced computing devices among a wide range of users (especially with the advent of smartphones, laptops, tablets - cf. the so-called "Bring Your Own Device", BYOD phenomenon, which also entailed serious internal regulatory challenges for businesses).

More recently, and mainly after ChatGPT became available in November 2022, we have become familiar with another subset of shadow IT phenomena: the threat of using "shadow AI", i.e. the use of unapproved, unverified artificial intelligence (AI) applications.

The rise of large language models (LLMs) poses challenges to the applicability of data protection rules. There is a lot of debate about the question of whether or not LLMs themselves store personal data. Recently, the Hamburg Commissioner for Data Protection and Freedom of Information (Hamburg DPA) published a discussion paper on large language models and personal data and this paper contains three basic theses as follows:  

1. The mere storage of an LLM does not constitute processing within the meaning of article 4 (2) GDPR. This is because no personal data is stored in LLMs. Insofar as personal data is processed in an LLM-supported AI system, the processing must comply with the requirements of the GDPR. This applies in particular to the output of such an AI system.
2. Given that no personal data is stored in LLMs, data subject rights as defined in the GDPR cannot relate to the model itself. However, claims for access, erasure or rectification can certainly relate to the input and output of an AI system of the responsible provider or deployer.
3. The training of LLMs using personal data must comply with data protection regulations. Throughout this process, data subject rights must also be upheld. However, potential violations during the LLMs training phase do not affect the lawfulness of using such a model within an AI system.

The above three theses make it clear that according to the Hamburg DPA, no personal data is stored in LLMs. After the release of this discussion paper, some contra and pro arguments were published discussing this statement. Below, I´ll show the arguments regarding the question whether LLMs store personal data or not and I´ll also show why this question can be relevant.   

In connection with the AI Act, which will enter into force shortly, on 1 August 2024 (and will become applicable in several steps thereafter), we most often talk about prohibited AI practices, high-risk AI systems and related obligations of service providers and deployers, or even specific rules for general-purpose AI models. However, a concept appears in the AI Act, which may be hidden in the shadow of other rules, but it is also a very important element for the proper functioning of the entire artificial intelligence ecosystem and for the spread of socially useful AI. This is known as AI literacy.

A rövidesen, egészen pontosan 2024. augusztus 1-én hatályba lépő (és utána több lépcsőben alkalmazandóvá váló) MI Rendelet kapcsán leggyakrabban a tiltott MI-gyakorlatokról, a nagy kockázatú MI-rendszerekről és az ezekhez kapcsolódó szolgáltatói, illetve alkalmazói kötelezettségekről, esetleg az általános célú MI-modellekre vonatkozó külön szabályokról beszélünk. Megjelenik viszont egy fogalom az MI Rendeletben, amely talán megbújik az egyéb szabályok árnyékában, de az egész mesterséges intelligencia ökoszisztéma megfelelő működése és a társadalmilag hasznos MI elterjedése szempontjából is nagyon fontos elem. Ez pedig az ún. MI-jártasság (AI literacy).  

Az elmúlt bő másfél évben, mióta a ChatGPT széles körben elérhetővé vált, a nagy nyelvi modelleken (Large Language Model, LLM) alapuló megoldások hihetetlen tempóban váltak mind a munkahelyi, mind a magáncélú használatban alapvető eszközökké. Olyan esetekben, amikor akár ezen modellek fejlesztéséhez (tanításához), vagy a használatukhoz személyes adatok kezelése is szükséges, illetve személyes adatok kezelésére kerül sor, akkor természetesen az adatvédelmi szabályoknak való megfelelés is elengedhetetlen. Nem véletlen, hogy több adatvédelmi hatóság is foglalkozott az LLM-ek és az adatvédelem kapcsolatával. Legutóbb az ír és a hamburgi adatvédelmi hatóság publikált kifejezetten a nagy nyelvi modellekre fókuszáló iránymutatásokat. (Az ír adatvédelmi hatóság iránymutatása elérhető itt, a hamburgi hatósági dokumentum pedig itt.)

The provisions of the AI Act on prohibited AI practices (Article 5 of the AI Act) will become applicable quite quickly, 6 months after the entry into force of the AI Act (i.e. from February 2, 2025).

As discussed in a previous post, the AI Act takes a risk-based approach and accordingly, we can distinguish AI practices that should be prohibited due to unacceptably high risks (prohibited AI practices, Article 5 of the AI Act, e.g. social scoring systems), high-risk AI systems that require strict requirements and compliance with a number of obligations set out in the AI Act (high-risk AI systems, Article 6 of the AI Act) and other lower-risk AI systems that are essentially subject to transparency obligations (Article 50 of the AI Act, e.g. chatbots). (There are additional AI systems with minimal risk for which no additional requirements are essentially laid down in the regulation. This category could include, for example, spam filters.)

In the following, I will take a closer look at the so-called prohibited AI practices deined in the AI Act.

A mesterséges intelligenciára vonatkozó rendelet legahamarabb alkalmazandó szakaszai a tiltott MI-gyakorlatokra vonatkozó előírások (MI Rendelet, 5. cikk), amelyek 6 hónappal az MI Rendelet hatályba lépését követően, azaz 2025. február 2-től már alkalmazandóvá is válnak. Az MI Rendeletet részletesen bemutató sorozatom előző részében ezen tiltott MI-gyakorlatok közül mutattam be az első négyet, a mai posztban pedig folytatom a tiltott MI-gyakorlatok bemutatását további négy tiltott gyakorlat részletes ismertetésével. (A két posztban tehát valamennyi tiltott gyakorlat bemutatásra kerül.)

A mesterséges intelligenciára vonatkozó rendelet legahamarabb alkalmazandó szakaszai a tiltott MI-gyakorlatokra vonatkozó előírások (MI Rendelet, 5. cikk). Ezek 6 hónappal az MI Rendelet hatályba lépését követően, azaz 2025. február 2-től már alkalmazandóvá is válnak. 

Ahogy arról egy korábbi posztban már volt szó, az MI Rendelet kockázatalapú megközelítést alkalmaz és  ehhez igazódóan az MI Rendelet alapján megkülönböztethetünk olyan MI-gyakorlatokat, amelyeket elfogadhatatlanul magas kockázat miatt tiltani kell (tiltott MI-gyakorlatok, MI Rendelet 5. cikk, pl. társadalmi pontozási rendszerek), magas kockázattal járó MI-rendszereket, amelyek esetében szigorú követelményekre, számos kötelezettség betartására van szükség (nagy kockázatú MI-rendszerek, MI Rendelet 6. cikk), illetve egyéb, alacsonyabb kockázatú MI-rendszereket, amelyek alapvetően átláthatósági kötelezettségek (MI Rendelet, 50. cikk, pl. chatbotok) hatálya alá esnek. (Lehetnek további olyan minimális kockázattal járó MI-rendszerek, amelyekre lényegében nem állapít meg további követelményeket a szabályozás. Ebbe a kategóriába tartozhatnak pl. a spam szűrők.)

Az alábbiakban az MI Rendeletben szereplő ún. tiltott MI-gyakorlatokat vizsgálom meg közelebbről. 

The AI Act is classified as a regulation with a risk-based approach. But what does this mean in practice? What risks does the AI Act address and how? I address this topic below, also taking into account the risk-based approach of the GDPR and its similarities and possible differences with the AI Act.

A mesterséges intelligenciáról szóló rendelet kapcsán gyakran elhangzik, hogy kockázatalapú megközelítést alkalmaz a szabályozás. De mit is jelent ez a gyakorlatban? Milyen kockázatokat kezel az MI Rendelet és hogyan? Az alábbiakban ezt a kérdést járom körül, kitérve a GDPR kockázatalapú szabályozására és annak az MI Rendeletben alkalmazottakkal való hasonlóságára, illetve esetleges különbségeire is.