Bookmarked Using GPT-3 to augment human intelligence: Learning through open-ended conversations with large language models by Henrik Olof Karlsson

Wow, this essay comes with a bunch of examples of using the GPT-3 language model in such fascinating ways. Have it stage a discussion between two famous innovators and duke it out over a fundamental question, run your ideas by an impersonation of Steve Jobs, use it to first explore a new domain to you (while being aware that GPT-3 will likely confabulate a bunch of nonsense). Just wow.
Some immediate points:

  • Karlsson talks about prompt engineering, to make the model spit out what you want more closely. Prompt design is an important feature in large scale listening, to tap into a rich interpreted stream of narrated experiences. I can do prompt design to get people to share their experiences, and it would be fascinating to try that experience out on GPT-3.
  • He mentions Matt Webbs 2020 post about prompting, quoting “it’s down to the human user to interview GPT-3“. This morning I’ve started reading Luhmann’s Communicating with Slip Boxes with a view to annotation. Luhmann talks about the need for his notes collection to be thematically open ended, and the factual status or not of information to be a result of the moment of communication. GPT-3 is trained with the internet, and it hallucinates. Now here we are communicating with it, interviewing it, to elicit new thoughts, ideas and perspectives, similar to what Luhmann evocatively describes as communication with his notes. That GPT-3 results can be totally bogus is much less relevant as it’s the interaction that leads to new notions within yourself, and you’re not after using GPT-3s output as fact or as a finished result.
  • Are all of us building notes collections, especially those mimicking Luhmann as if it was the originator of such systems of note taking, actually better off learning to prompt and interrogate GPT-3?
  • Karlsson writes about treating GPT-3 as an interface to the internet, which allows using GPT-3 as a research assistant. In a much more specific way than he describes this is what the tool Elicit I just mentioned here does based on GPT-3 too. You give Elicit your research question as a prompt and it will come up with relevant papers that may help answer it.

On first reading this is like opening a treasure trove, albeit a boobytrapped one. Need to go through this in much more detail and follow up on sources and associations.

Some people already do most of their learning by prompting GPT-3 to write custom-made essays about things they are trying to understand. I’ve talked to people who prompt GPT-3 to give them legal advice and diagnose their illnesses. I’ve talked to men who let their five-year-olds hang out with GPT-3, treating it as an eternally patient uncle, answering questions, while dad gets on with work.

Henrik Olof Karlsson

Bookmarked Google engineer put on leave after saying AI chatbot has become sentient (by Richard Luscombe in The Guardian)

A curious and interesting case is emerging from Google, one of its engineers claims that a chatbot AI (LaMDA) they created has become sentient. The engineer is suspended because of discussing confidential info in public. There is however an intruiging tell about their approach to ethics in how Google phrases a statement about it. “He is a software engineer, not an ethicist“. In other words, the engineer should not worry about ethics, they’ve got ethicists on the payroll for that. Worrying about ethics is not the engineer’s job. That perception means you yourself can stop thinking about ethics, it’s been allocated, and you can just take its results and run with it. The privacy officer does privacy, the QA officer does quality assurance, the CISO does information security, and the ethics officer covers everything ethical…..meaning I can carry on as usual. I read that as a giant admission as to how Google perceives ethics, and that ethics washing is their main aim. It’s definitely not welcomed to treat ethics as a practice, going by that statement. Maybe they should open a conversation with that LaMDA AI chatbot about those ethics to help determine the program’s sentience 🙂

Google said it suspended Lemoine for breaching confidentiality policies by publishing the conversations with LaMDA online, and said in a statement that he was employed as a software engineer, not an ethicist.

Bookmarked Data altruism: how the EU is screwing up a good idea (by Winfried Veil)

I find this an unconvincing critique of the data altruism concept in the new EU Data Governance Act (caveat: the final consolidated text of the new law has not been published yet).

“If the EU had truly wanted to facilitate processing of personal data for altruistic purposes, it could have lifted the requirements of the GDPR”
GDPR slackened for common good purposes? Let’s loosen citizen rights requirements? It assumes common good purposes can be well enough defined to not endanger citizen rights, turtles all the way down. The GDPR is a foundational block, one in which the author, some googling shows, is disappointed with having had some first hand experience in its writing process. The GDPR is a quality assurance instrument, meaning, like with ISO style QA systems, it doesn’t make anything impossible or unallowed per se but does require you organise it responsibly upfront. That most organisations have implemented it as a compliance checklist to be applied post hoc is the primary reason for it being perceived as “straight jacket” and for the occurring GDPR related breaches to me.
It is also worth noting that data altruism also covers data that is not covered by the GDPR. It’s not just about person identifiable data, but also about otherwise non-public or confidential organisational data.

The article suggests it makes it harder for data altruistic entities to do something that already now can be done under the GDPR by anyone, by adding even more rules.
The GDPR pertains to the grounds for data collection in the context of usage specified at the time of collection. Whereas data altruism is also aimed at non-specified and at not yet known future use of data collected here and now. As such it covers an unaddressed element in the GDPR and offers a path out of the purpose binding the GDPR stipulates. It’s not a surprise that a data altruism entity needs to comply with both the GDPR and a new set of rules, because those additional rules do not add to the GDPR responsibilities but cover other activities. The type of entities envisioned for it already exist in the Netherlands, common good oriented entities called public benefit organisations: ANBI‘s. These too do not absolve you from other legal obligations, or loosen the rules for you. On the contrary these too have additional (public) accountability requirements, similar to those described in the DGA (centrally registered, must publish year reports). The DGA creates ANBI’s for data, Data-ANBI’s. I’ve been involved in data projects that could have benefited from that possibility but never happened in the end because it couldn’t be made to work without this legal instrument.

To me the biggest blind spot in the criticism is that each of the examples cited as probably more hindered than helped by the new rules are single projects that set up their own data collection processes. That’s what I think data altruism is least useful for. You won’t be setting up a data altruism entity for your project, because by then you already know what you want the data for and start collecting that data after designing the project. It’s useful as a general purpose data holding entity, without pre-existing project designs, where later, with the data already collected, such projects as cited as example will be applicants to use the data held. A data altruistic entity will not cater to or be created for a single project but will serve data as a utility service to many projects. I envision that universities, or better yet networks of universities, will set up their own data altruistic entities, to cater to e.g. medical or social research in general. This is useful because there currently are many examples where handling the data requirements being left to the research team is the source of not just GDPR breaches but also other ethical problems with data use. It will save individual projects such as the examples mentioned a lot of time and hassle if there’s one or more fitting data altruistic entities for them to go to as a data source. This as there will then be no need for data collection, no need to obtain your own consent or other grounds for data collection for each single respondent, or create enough trust in your project. All that will be reduced to guaranteeing your responsible data use and convince an ethical board of having set up your project in a responsible way so that you get access to pre-existing data sources with pre-existing trust structures.

It seems to me sentences cited below require a lot more thorough argumentation than the article and accompanying PDF try to provide. Ever since I’ve been involved in open data I’ve seen plenty of data innovations, especially if you switch your ‘only unicorns count’ filter off. Barriers that unintentionally do exist typically stem more from a lack of a unified market for data in Europe, something the DGA (and the GDPR) is actually aimed at.

“So long as the anti-processing straitjacket of the GDPR is not loosened even a little for altruistic purposes, there will be little hope for data innovations from Europe.” “In any case, the EU’s bureaucratic ideas threaten to stifle any altruism.”

Winfried Veil

This is quite something to read. The Irish data protection authority is where most GDPR complaints against US tech companies like Facebook end up, because the European activities of these companies are registered there. It has been quite clear in the past few years how enormously slow the Irish DPA has been in dealing with those complaints. Up to the point where the other DPA’s complained about it, and up to the point where the European DPA intervened in setting higher fine levels than the Irish DPA suggested when a decision finally was made. Now noyb publishes documents they obtained, that show how the Irish DPA tried to get the other national DPA’s to accept a general guideline they worked out with Facebook in advance. It would allow Facebook to contractually do away with informed consent by adding boiler plate consent to their TOS. This has been the FB defense until now, that there’s a contract between user and FB, which makes consent unnecessary. I’ve seen this elsewhere w.r.t. to transparency and open data in the past as well, where government entities tried to prevent transparency contractually. Contractually circumventing and doing away with general legal requirements isn’t admissable however, yet that is precisely what the Irish DPA attempted to make possible here through a EU DPA Guideline.

Reading this, the noticeable lack of progress by the Irish DPA seems not to be because of limited resources (as has been an issue in other MS), but because it has been actively working to undermine the intent and impact of the GDPR itself. Their response to realising that adtech is not workable under the GDPR seems to be to sabotage the GDPR.

The Irish DPA failed to get other DPA’s to accept a contractual consent bypass, and that is the right and expected outcome. That leaves us with what this says about the Irish DPA, that they attempted it in the first place, to replace their role as regulator with that of lobbyist:

It renders the Irish DPA unfit for purpose.

Gisteravond vond de 3e Nederlandstalige Obsidian meet-up plaats, dit keer met zeven deelnemers. Organisator was Christian. Het was al weer even geleden dat ik de eerste 2 sessies hield. Veel langer geleden dan ik me realiseerde toen ik het tijdens de sessie gisteren opzocht (de eerste was in april, de tweede in juli)

Omdat ik ziek in bed lig deed ik mee zonder camera en geluid. Af en toe liet ik van me horen in de chat van de online meet-up. Enkele voor mij bekende gezichten, zoals Wouter en Willy, en vooral nieuwe. Dat was prettig want zo hoor je nieuwe dingen.

Een paar dingen die me opvielen en in me opkwamen, voor mijn beperkte energie op was, en ik het gesprek verliet:

Ieder van ons heeft een lange geschiedenis met notitie-apps, en uiteindelijk wint volgens mij de toepassing die niet alleen frictie reduceert om dingen op te slaan en met die dingen te werken, maar die ook andere wegen openhoudt en je niet opsluit in het denken van de maker van de tool. Op een gegeven moment ging het over welke plugins we gebruiken, en ook daar hoorde je reserve voor plugins die je ‘opsluiten’ in de tool, d.w.z. die niet alleen functionaliteit toevoegen, maar ook inhoud die vervolgens buiten Obsidian niet toegankelijk is (in de platte tekstfiles waarin je notities zijn opgeslagen). Later las ik dat er een plugin is die dat opsluitend effect expliciet probeert tegen te gaan voor wat Obsidian zelf aan gegevens opslaat: de Obsidian metadata-extractor die de metadata naar je harde schijf schrijft zodat andere applicaties (zoals bijv AlfredApp) er bij kunnen. Hiermee kun je Obsidian directer vanuit andere applicaties aansturen als je wilt.

Digitaal eerst, of niet?

Digitaal of eerst op papier? Dat is een vraag die al vroeg aan bod kwam. Mede naar aanleiding van hoe Wouter Obsidian gebruikt. Hij doet alles eerst op papier, scant die pagina’s (met Genius Scan van Grizzly Labs op zijn telefoon), en maakt bij elke foto een korte index, zodat hij via de zoekfunctie de juiste scans kan vinden. Na de eerste meet-up waarin hij dat ook vertelde, ben ik mijn eigen papieren notitieboeken ook gaan scannen, met mijn CZUR staande scanner, en maak daar eveneens indexes bij. Dit keer werd me duidelijk dat hij dat net iets anders doet dan ik heb gedaan. Ik maak 1 index per notebook met links naar de plaatjes in de vorm “plaatje12 over #opendata en gesprek met XYZ”, Wouter maakt per scan een note met daarin zijn annotaties, zodat je de afbeelding meteen boven die annotaties ziet staan. Dat lijkt me weliswaar eleganter, maar ook meer werk.

Al heb ik zelf een sterke voorkeur in het meteen digitaal maken van mijn notities, is de rol van papier en pen wel degelijk belangrijk. De reden om als het kan digitaal-eerst te werken heeft vooral met de frictie te maken die de latere omzetting naar digitaal nog altijd betekent. Sinds klas 5 van de basisschool houd ik al notitieblokken vol aantekeningen bij. Dat is 4 decennia aan notitieblokken.
Fysiek iets schrijven is anders en levert andere verbindingen op dan tekst tikken op het scherm.
Fysiek omgaan met bestaande notities heeft dat andere effect ook bij mij: ik plak met enige regelmaat een reeks post-its met inhoud uit mijn notes op de muur om beter te snappen wat onderlinge verbanden kunnen zijn, ‘gaten’ te zien. Ik kan dat welisaar ook in tools als Tinderbox visueel doen op mijn scherm, maar het werkt anders omdat ik dan mijn handen niet gebruik, niet voor de muur in mijn kamer heen en weer drentel etc.

We hadden het ook over lezen op papier of digitaal. Ook daar speelt voor mij de wrijving een rol in hoe je aantekeningen later digitaal kunt verwerken. Ik lees vooral digitaal (het is veelal goedkoper en scheelt thuis vooral enorm veel ruimte), maar voor non-fictie is mijn eigenlijke voorkeur papier, vanwege het overzicht dat het biedt op een manier die e-readers nog altijd niet weten te bieden. Op mijn e-ink device, en voor PDFs die ik in Zotero verzamel is dingen in boeken markeren of in de kantlijn schrijven inmiddels naadloos naar mijn notities te krijgen, zodat ik ze daar inhoudelijk kan verwerken. In deze context werd ook het boek Proust and the Squid: The Story and Science of the Reading Brain van Maryanne Wolf genoemd.

Visueel en tekstgericht

Markdown is een opmaaktaal voor tekst, en Obsidian is een viewer op markdown files, en dus in principe geheel tekstgericht. Je kunt wel plaatjes opnemen maar dat zijn passieve afbeeldingen. Je kunt daarnaast Mermaid diagrammen maken, als manier om in tekst een diagram te definieren.
Tot nu toe was dat weinig nuttig voor me, omdat ik eigenlijk uitsluitend in edit-mode werk, en dan zie je alleen je eigen ruwe tekst, niet de opmaak of het diagram als je die toevoegt. Het is de reden dat veel mensen gelijktijdig de markdown tekst waarin ze werken en het visuele resultaat naast elkaar op hun scherm toonden, maar ik doe dat eigenlijk nooit.
Nu is er sinds kort de Live Preview modus (in beta), waarin je eigenlijk altijd het opgemaakte resultaat van je tekst ziet, totdat je je cursor ergens zet en begint te editen. Dan wordt daar lokaal je orginele markdown zichtbaar. Ik heb nu geen extra muisklikken nodig, en hoef geen extra schermpjes open te hebben om mijn markdown ‘live’ te zien. Dat maakt het weer veel aantrekkelijker voor me om ook visuele elementen in mijn notities (te proberen) te gebruiken.
Een van de deelnemers is een eindexamenkandidaat die de stof deels ook in schetsen en diagrammen vertaalt. Iets visueel maken helpt bij het internaliseren van stof, maar ook bij het naar voren halen van die kennis als je de afbeelding weer ziet. Ingewikkelde complexe dingen laten zich vaak makkelijker in een schets vangen dan in een platte tekst die per definitie lineariteit en hiërarchie suggereert. Tot mijn verrassing gebruikte hij een schetstool die volledig in Obsidian te integreren is, en waarmee je ook zelfs links in een afbeelding naar andere notes kunt opnemen. Die schetstool is Excalidraw, in principe een browsergebaseerde tool. waarvoor iemand een Obsidian plugin heeft gemaakt. Excalidraw is net als Obsidian zelf nog maar anderhalf jaar oud. Daar ga ik zeker mee experimenteren.

In de context van schetsen maken kwam ook The Back of the Napkin van Dan Roam ter sprake, en ik moest zelf ook denken aan sketchnoting en The Sketchnote Handbook van Mike Rohde (alleen al een tof boek omdat ik er in sta 😉 )

Een van de andere deelnemers, Roy Scholten is nadrukkelijk bezig met de rol van visualisatie in het overbrengen van kennis en het helpen bij duiding. Zijn blog Bildung zit vanaf nu in mijn feedreader.

Werk en Privé

Het laatste dat ik even wil aanstippen was een gesprek over of je in je notities werk en privé mengt of juist scheidt, en of je er aparte vaults (losse collecties in Obsidian) voor bijhoudt. Bij mij zit alles op 1 plek, onderscheid maak ik in een folderstructuur zodat dingen over bijvoorbeeld ons huishouden niet staan tussen dingen over een huidig klantproject. Al mijn conceptuele notities zitten wel in één folder, ongeacht het onderwerp, want daar telt de onderlinge (netwerk)verbinding het zwaarst. Mijn folderstructuur is niet thematisch gesplitst maar in aandachtsgebieden in mijn leven (zoals in de Getting Things Done methodiek, en in PARA al zitten mijn projecten allemaal in zo’n aandachtsgebied, anders dan PARA). Voor de genoemde eindexamenkandidaat lag er een splitsing tussen school en de rest, en dat kan ik me goed voorstellen. Je notities voor je eindexamen komen voort uit iets dat je wordt opgelegd, iets vooral buiten je eigen directe interesses of activiteiten. (Tijdens je studie is dat weer net wat anders, daar ontdek je juist welke aspecten je straks in je professie boeiend vindt, dus daar wordt het meer eigen, en minder externe verwachting ondanks de tentamenstructuur). Sommigen doen het net als ik, waar ‘alles’ in het systeem zit. Mijn PKM is deels gebouwd op Getting Things Done en daaruit vloeit die ‘allesomvattendheid’ al voort, maar ook op mijn persoonlijk opvatting dat er weinig verschil is tussen werk en niet-werk voor mij. In die context werd ook gesproken over Kanban of Trello boards voor thuis. Mijn primaire tools voor mijn werk en voor thuis zijn identiek eigenlijk, voor klanten hanteer ik daarnaast meestal andere (die ik grotendeels niet thuis zou willen inzetten, dat is waar). Het thuis hanteren van uit je werk bekende methoden om zo de logistiek thuis te vergemakkelijken, en ruimte te maken voor elkaar lijkt me vooral gezond. Onze eerste verjaardagsconferentie in 2008 ging al hierover.

Dank aan Christian voor het organiseren van deze bijeenkomst, en alle deelnemers voor het delen van hun ervaringen en werkwijzen.

Ook met andere Nederlandstalige Obsidiangebruikers van gedachten wisselen? Die Nederlandstalige Obsidian gebruikers vind je ‘allemaal’ op het Obsidian Discord kanaal #nederlands.

Favorited IAM Weekend and The Everything manifesto: A thought experiment for the next billion seconds (HT Johannes Klingebiel‘s German newsletter)

The IAM weekend looks like a very worthwile event, and I hope to follow some of it online. Beforehand I’ll also read their ‘Everything Manifesto’ to better understand their perspective.

What if we come together to reimagine the internet(s) as sustainable networks for solidarity and care?

To contribute in creative, collaborative and collective ways to the reimagination of the digital economy into climate-neutral, sustainable and plural ecosystems, encouraging solidarity and critical hope today, tomorrow and during the next billion seconds.

I-am-internet.com