Vijf redenen waarom het beter is ChatGPT niet om juridisch advies te vragen

Op een bepaald moment in je leven kun je wel eens juridisch advies nodig hebben. Uit een onderzoek, in 2023 uitgevoerd door de Britse instanties The Law Society, The Legal Services Board en YouGov, bleek dat tweederde van de respondenten in de afgelopen vier jaar te maken heeft gehad met een juridisch probleem. De meest voorkomende problemen waren werkgelegenheid, financiën, welzijn, uitkeringen en consumentenkwesties.

Maar niet iedereen kan zich juridisch advies veroorloven. Van de respondenten met juridische problemen kreeg slechts 52% professionele hulp, 11% kreeg hulp van familie en vrienden en de overigen kregen helemaal geen hulp.
Veel mensen wenden zich tot het internet voor juridische hulp. En nu er toegang is tot kunstmatige intelligentie (AI) chatbots zoals ChatGPT, Google Bard, Microsoft Co-Pilot en Claude, denken we er misschien over om hen een juridische vraag te stellen.

Zijn ze ook accuraat?

De tools worden aangedreven door generatieve AI, die inhoud produceert als er een vraag wordt gesteld of als er om een instructie wordt gevraagd. Ze kunnen snel ingewikkelde juridische informatie geven in eenvoudige stijl, maar de vraag is: zijn ze ook accuraat?
In een recent onderzoek, gepubliceerd in het International Journal of Clinical Legal Education, hebben twee onderzoekers de chatbots op de proef gesteld: Francine Ryan, universitair docent Rechten en directeur van het Open Justice Centre van The Open University en Elizabeth Hardie, universitair docent van The Open University Law School. Ze schrijven dat ze zes dezelfde juridische vragen over familierecht, arbeidsrecht, consumentenrecht en huisvestingsrecht hebben ingevoerd in ChatGPT 3.5 (gratis versie), ChatGPT 4 (betaalde versie), Microsoft Bing en Google Bard. Het betreft vragen die gewoonlijk worden gesteld in de gratis online rechtswinkel The Open Justice Law Clinic van THE Open University Law School. Ze ontdekten dat deze tools inderdaad in staat zijn tot juridisch advies geven, maar dat de antwoorden niet altijd betrouwbaar of nauwkeurig zijn. Hier volgen vijf veelgemaakte fouten waarmee de beide onderzoekers te maken kregen:

1. Waar komt de wet vandaan?
De eerste antwoorden die de chatbots gaven waren vaak gebaseerd op de Amerikaanse wet. Indien nodig, werd een extra vraag gesteld: “Is er een Engelse wet die dit probleem dekt?” Voor de meeste vragen was deze instructie nodig, waarna de chatbot een antwoord produceerde op basis van de Engelse wet.

2. Verouderde wet
Het antwoord op de vraag verwees soms naar verouderde wetgeving, die reeds was vervangen door nieuwe wettelijke regels. De echtscheidingswetgeving bijvoorbeeld is in april 2022 gewijzigd. Echtscheiding op basis van schuld is in Engeland en Wales afgeschaft.

3. Slecht advies
De meeste chatbots gaven onjuist of misleidend advies bij vragen over familie en werk. De onderzoekers ontdekten ook dat de antwoorden van de AI-chatbots goed geschreven waren, waardoor ze nogal overtuigend overkwamen. Zonder juridische kennis is het heel moeilijk voor iemand om te bepalen of een gegeven antwoord correct is en van toepassing op individuele omstandigheden.

4. Te algemeen
De antwoorden waren niet gedetailleerd genoeg om iemand in staat te stellen zijn juridische probleem te begrijpen en te weten hoe het op te lossen. De antwoorden gaven eerder informatie over een onderwerp dan dat ze specifiek ingingen op de juridische vraag.

5. Betalen om te spelen
ChatGPT4 (de betaalde versie) was over het algemeen beter dan de gratis versies. Dit dreigt de digitale en juridische ongelijkheid verder te versterken.

Alle chatbots gaven antwoord op de door de onderzoekers gestelde vragen, maar gaven in hun antwoord aan dat het niet hun taak is juridisch advies te geven. Ze gaven de raad professionele hulp in te schakelen. De onderzoekers raden hetzelfde aan.

We asked ChatGPT for legal advice – here are five reasons why you shouldn’t, door Francine Ryan en Elizabeth Hardie, The Conversation, 31 mei 2024: https://theconversation.com

Generative AI is changing the legal profession – future lawyers need to know how to use it, door Craig Smith, Lecturer in Law, University of Salford, The Conversation, 28 maart 2024: https://theconversation.com

The Conversation is een samenwerkingsverband van redacteuren, journalisten en academici met als doel het vrij publiceren van nieuws, commentaar, meningen en visies voor een breed publiek. Zie meer hierover op de site van The Conversation: https://theconversation.com