Effluvia of some vintage

Yesterday, I was reminded of the following message, sent to me some time ago by my dear friend Foster Neville. I am not sure who its author is (it might very well be Foster himself), so at this point I quote it without giving credit where it is due.

It is just too funny to let it go to waste. Here it goes:

Vivian Stanshall of Bonzo Dog Band fame kept newspaper cuttings in a book he called his ‘Book of Madness’. The tragic tale of the Browns led to him being hospitalised when he first read the article.

With the drama that only a local paper can supply, the couple next door to the Browns are quoted:

“We’d been getting on quite well with the Browns. After our lavatory became completely blocked, I called the council. They were around in next to no time in their lorry. They went into No.40, our house, and inserted their biggest pump into our convenience.

One of the council operatives switched it on. There was a tremendous rumble. Janet, my five-year-old, thought it was thunder. The rumble was followed by a tremendous whoosh. I nipped upstairs and flushed the convenience. It was working perfectly. No sooner had the operatives vanished when I saw June Brown from No.42 coming up the garden path. She was hysterical and covered in what looked like sludge. Apparently when the pump began to work, instead of sucking, it blew, and the whole of Mrs Brown’s bedroom was covered with effluvia of some vintage.”

It was the choice of ‘effluvia’ to describe the devastating substance which led to Vivian’s trip to hospital.

The paper goes on to record the reaction of the Browns themselves:

‘“The council are to blame”, said Bob Brown. “We are camping out at June’s parents. Our house is ruined. It’s everywhere. The ceilings are collapsing, the lavatory was blown into the spare bedroom and the TV is clogged up. The dog may have to be put down.”’

Read more!

De Monty-Hall-puzzel

In de Monty Hall-televisieshow wordt een spel gespeeld met drie deuren. Achter een van de deuren bevindt zich een auto, en achter elk van de andere twee staat een geit verborgen. De speler duidt een van deze deuren aan. Gastheer Monty opent een andere deur, met een geit erachter. En dan mag jij een van de twee ongeopende deuren openen, waarbij je wint wat erachter staat. Welke deur kies je het beste: die die je het eerst koos, of de overblijvende? Dus: blijf je bij je eerste keuze, of verander je?

Antwoord

Jij, de speler, moet een zo goed mogelijke beslissing nemen en wordt daarbij geconfronteerd met een gebrek aan kennis, en dus met onzekerheid. Men pakt zulke beslissingsproblemen onder onzekerheid het beste aan met technieken uit de waarschijnlijkheidsleer.

Het Monty Hall-probleem is een van die vragen waarop de regels van de waarschijnlijkheidsleer een antwoord geven dat schijnbaar tegen de intuïtie indruist. Men gaat er vaak van uit dat het er niet toe doet dat Monty een deur opent, of nog, dat dit openen van een deur geen nuttige informatie aanbrengt. Daarom wordt het probleem soms ook als een paradox gezien. We zullen zien dat deze intuitieve redenering verkeerd is.

Om te zien wat er aan de hand is, hebben we een beetje wiskunde nodig.

Nummer de deuren van 1 tot 3. We zullen voor het gemak aannemen dat jij deur 1 aangewezen hebt. We noemen X de deur waarachter de auto verborgen is. Je kent X niet, maar de mogelijke waarden zijn 1, 2, en 3. Vooraleer Monty een deur heeft geopend, heeft elk van deze mogelijkheden voor jou dezelfde waarschijnlijkheid:

p(X=1)=p(X=2)=p(X=3)=1/3.

We willen weten wat deze waarschijnlijkheden worden nadat Monty een deur heeft geopend. Hiervoor zullen we de regel van Bayes gebruiken.

We stellen de deur die Monty opent door O voor. De mogelijke waarden voor O zijn natuurlijk 2 en 3, want Monty moet een andere deur openen dan de deur 1 die jij hebt aangewezen.

Welke deur O Monty kiest, hang natuurlijk af van achter welke deur X de auto verborgen zit.

Wanneer X=2, dan kan Monty alleen nog deur 3 openen, want dat is de enige resterende deur waarachter een geit verborgen zit. We kunnen dit met voorwaardelijke waarschijnlijkheden schrijven als:

p(O=2|X=2)=0 en p(O=3|X=2)=1.

Hierin stelt p(O=o|X=x) de waarschijnlijkheid voor dat Monty deur O=o opent, wanneer de auto achter deur X=x staat.

Een analoge redenering gaat op wanneer X=3, want dan kan Monty alleen nog deur 2 openen:

p(O=2|X=3)=1 en p(O=3|X=3)=0.

En wanneer X=1, staat er een geit achter deur 2 en een achter deur 3, en dus heeft Monty de keuze tussen O=2 en O=3. Hier vinden we de belangrijkste bron van verwarring in het Monty-Hall-probleem, die vaak over het hoofd wordt gezien: de beschrijving van het probleem is onvolledig omdat nergens wordt verteld hoe Monty de keuze maakt tussen deze twee opties. En dat is nochtans informatie die jij, de speler, nodig hebt om het probleem eenduidig op te lossen.

Een eerste mogelijkheid

Het is bijvoorbeeld mogelijk dat Monty het toeval laat bepalen of hij in dat geval (X=1) kiest voor deur 2 of deur 3, bijvoorbeeld door een fair muntstuk op te gooien. In dat geval hebben we meteen

p(O=2|X=1)=1/2 en p(O=1|X=3)=1/2.

Met de regel van Bayes kunnen we nu de gezochte waarschijnlijkheden p(X=x|O=o) vinden: p(X=x|O=o) is de waarschijnlijkheid dat de auto achter deur X=x staat, wanneer jij ziet dat Monty deur O=o opent, met x=1,2,3 en o=2,3. De formules hiervoor zijn:

p(X=x|O=o)=p(X=x)p(O=o|X=x)/p(O=o)

met (wat nu volgt is de wet van de totale waarschijnlijkheid)

p(O=o)=p(X=1)p(O=o|X=1)+p(X=2)p(O=o|X=2)+p(X=3)p(O=o|X=3).

Vullen we alle bekende gegevens in deze formules in, dan vinden we bijvoorbeeld:

p(X=1|O=2)=1/3 en p(X=3|O=2)=2/3

en

p(X=1|O=3)=1/3 en p(X=3|O=1)=2/3

Het wordt dus twee keer waarschijnlijker dat de auto niet eerder dan wel achter deur 1 staat, zodat, welke deur Monty ook kiest, je het beste van deur verandert.

Je kunt dit ook min of meer intuïtief inzien zonder de berekeningen uit te voeren. Neem bijvoorbeeld aan dat Monty kiest voor deur 2. Die keuze heeft twee mogelijke verklaringen. De eerste is dat de auto achter deur 3 staat, zodat Monty geen andere keuze heeft. De tweede is dat de auto achter deur 1 staat, en dan is Monty's keuze het resultaat van tossen geweest. De sterkste verklaring is degene die Monty's keuze het meest waarschijnlijk maakt, namelijk dat de auto achter deur 3 staat.

Een andere mogelijkheid

Maar het is best mogelijk dat Monty andere manieren heeft om de keuze tussen deur 2 en deur 3 te maken. Stel dat jij bijvoorbeeld zou weten dat Monty in het geval dat X=1 steevast deur 2 zal kiezen:

p(O=2|X=1)=1 en p(O=3|X=1)=0.

Wanneer Monty dan bijvoorbeeld kiest voor deur 3, dan weet jij met zekerheid dat de auto niet achter deur 1, en evenmin achter deur 3 kan staan. Je weet dan zeker dat je voor deur 2 moet kiezen.

Wanneer hij echter voor deur 2 kiest, dan leert de regel van Bayes ons dat (probeer ook hiervoor een intuitieve verklaring te geven):

p(X=1|O=2)=1/2 en p(X=3|O=2)=1/2

en in dit geval maakt het niet uit of we van deur veranderen of niet: beide mogelijkheden zijn nu even waarschijnlijk geworden.

Samengevat

Als je eenmaal weet op welke manier Monty een keuze zal maken tussen de deuren die hij kan openen, dan kun je die informatie gebruiken om iets meer te weten te komen over waar de auto staat.

De grote moeilijkheid bij de Monty Hall-puzzel is echter dat hierover niks wordt gezegd: het probleem is onvoldoende duidelijk omschreven, en het heeft daarom geen eenduidige oplossing. Wellicht is het deze mogelijkheid tot verwarring die van de puzzel een paradox heeft gemaakt. Maar zodra we vastleggen hoe Monty z'n keuze maakt, verdwijnt de paradox, en zijn de conclusies die de waarschijnlijkheidsleer ons aanreikt ook intuïtief aanvaardbaar.

Een verwant probleem

Als je deze redenering hebt begrepen, dan kun je meteen je tanden zetten in een andere, zeer gelijkaardige, puzzel uit de waarschijnlijkheidsleer: het probleem van de drie gevangenen.

Van drie terdoodveroordeelden A, B, en C krijgt er een gratie, en zullen de anderen worden terechtgesteld. Wie gratie krijgt, is door het toeval bepaald, waarbij elke veroordeelde gelijke kansen had. Alles wat een cipier aan veroordeelde A wil vertellen is de naam van een van de andere twee gevangen, waarbij hij zegt dat die zal worden terechtgesteld. Geeft dit aan gevangene A meer informatie over of hem gratie zal worden verleend?

Read more!

Reaction to Lotfi Zadeh's `What is probability?'

Dear Professor Zadeh,

This piece is intended as a comment on recent posts about probability theory to the BISC mailing list, in reaction to your initial post of 18 March 2009, called `What is probability?’. You clarified and revised the text a bit in your message of 25 March 2009.

You and I have argued, both in private and in public, about the issues raised there a few times before. Since I have never really summed up my point of view to you, I thought this might be a good opportunity.

If I try to reduce what you say in your message to its bare essentials, I come up with the following:

Consider (some person’s assessment of) the probability of an event. Then, first of all, this probability need not be a precise number, and we need a theory to deal with this. And secondly, probability theory has always considered events to belong to the realm of two-valued logic: they either occur or they don’t, tertium non datur. And, so you argue, we need to be able to deal with what you call fuzzy events, which may occur to some degree.

The work that many people, including me, have been doing in what I shall call, for want of a commonly accepted name, Imprecise Probabilities (see Peter Walley's book [5] for a good starting point; SIPTA may also be of interest), is related to the first observation: probability need not be a precise number. I shall try and deal with this first, before turning to your second point, probabilities of fuzzy events.

I will be concentrating on probability as a reflection of a person’s behavioural dispositions. I don’t want to suggest in any way that this is the only useful or reasonable interpretation that can or should be given to probabilities. But I believe it is important when talking about probability to make it clear from the outset what interpretation is being discussed. And this particular interpretation is the one that most of your Bayesian critics will feel most familiar with.

Imprecision in probability theory

A good starting point for my discussion is the analogy, suggested by one of your discussants, between a subject’s probability for an event, and, say, the length of a piece of chalk. This analogy often pops up in discussions about probability. It is intended to suggest the following idea: A piece of chalk can be considered to have a length, which can be measured with very good precision, provided we spend enough time and effort on it. In very much the same way, then, it is suggested, a person has a probability for an event, which, again, can be measured (elicited or assessed) with good precision, provided we take the time and the effort to do so. So just like length, the reasoning goes, probability is an ideally precise concept.

I believe this analogy, and the conclusion it points to, are flawed, and I intend to explain why. Let me clear away some rubbish first. The length of a physical object is of course not an ideally precise concept: at small scales, it becomes very difficult, if not impossible, to define the length of piece of chalk as something precise. But that doesn't really matter, because for most if not all practical purposes in daily life, we can make the useful assumption that a piece of chalk has a precisely determined length. The slightly weaker claim, then, is that for all practical purposes, we can treat a person's probability for an event as if it were a precise number. This is the claim I take issue with.

Let us consider an event A about whose occurrence a subject is uncertain. We assume that we can, at least in principle, determine whether the event occurs or not. When a subject is asked to specify a probability for (the occurrence of) this event, she must give a number p such that she will bet on the event at all rates r smaller than p, and on its complement at all rates smaller than 1-p.

More generally, consider an uncertain or random quantity Q, meaning that our subject is uncertain about its actual value. Again, we assume that this value can, at least in principle, be determined. When a subject is asked to specify her expectation, or prevision, for that quantity, she must provide us with a number p such that she accepts to buy Q for any price r smaller than p and at the same time accepts to sell Q for any price r higher than p.

So our subject is asked, and assumed to be able, to choose for any real number x, between two available options: either to buy or to sell Q for price x. There is little doubt that she can do that (indeed we force her to make such a choice), but the real question is, will this expectation p that summarises all these choices be a reflection of her dispositions or beliefs? Surely there is a difference between preference and forced choice?

The point I want to make is this: there may (and most of the time will) be x such that our subject is undecided (in two minds) about whether to sell or to buy Q for x. She may have no preference of one over the other (which is not the same things as saying she is indifferent between the two options): both options may be incomparable for her. If asked or forced to make a decision, she will then of course do so, but the choice she makes need not be a reflection of her preferences or dispositions.

In the field of Imprecise Probabilities, we try and allow for this by allowing a subject's revealed preferences to be incomplete. This amounts to allowing a subject to specify lower and upper expectations for a random quantity: the lower expectation l is the highest number such that the subject accepts to buy Q for any price x smaller than l, and the upper expectation u is the smallest number such that the subject accepts to sell Q for any price x higher than u. For any x between l and u, the subject is undecided about whether to buy or to sell Q for that price x.

So, in summary, why aren't a subject’s probabilities precise numbers like lengths? Because we cannot, for all practical purposes, assume that a person has some precise number p that summarises her preferences about accepting uncertain transactions involving a random quantity Q. In practical real life, preferences may be, and often are, incomplete.

It is, by the way, the combination of the completeness and convexity requirements in Savage's axioms that produces the Ellsberg paradox that you mention in one of your previous postings. If we let go of the completeness requirement, the paradox disappears.

In the field of Imprecise Probabilities, therefore, we most often replace a real number by an interval. As you know very well, in a number of papers [1-4], I have tried to investigate whether this can be generalised in a natural way by replacing intervals with more general things, such as the fuzzy numbers you advocate. In fact, I show [1] that it may be useful to consider behaviourally sound second-order models that under some further (perhaps less compelling) restrictions [1-2] reduce to possibility distributions and hence to your fuzzy sets.

So yes, keeping all the above in mind, I can agree with your first point, that it is often both useful and necessary not to impose precision on probabilities of events, nor on expectations of random quantities.

Probabilities of fuzzy events

Now let me turn to your second point: we need to be able to deal with probabilities for fuzzy events, and if you allow me to extend this in the spirit of what I said above, with expectations for fuzzy random quantities.

I have tried to discuss this idea before in my rejoinder [3] to your written comments on my paper on possibilistic previsions [2]. I believe that if we think this is indeed useful and necessary, then it would certainly be helpful to come up with a behavioural interpretation for such probabilities and expectations, that extend the ones given above for non-fuzzy events and random quantities.

This would be helpful because interpretation is important: it guides the theory, suggests what is useful and what isn’t, and may even suggest what could or should be tested, verified or falsified. Without such interpretations to guide us (and again, I am not suggesting that the behavioural one considered here is the only useful one), we risk becoming undisciplined, and losing ourselves in adhockeries.

Many questions arise in this context, and I believe people in the fuzzy set community could try and deal with at least some of them. Here are a few that I happen to find interesting:

• What does it mean that a fuzzy event occurs (perhaps to a certain degree): what does it mean to draw a red ball from an urn, when red is considered to be a fuzzy concept; how should we bet on such events?
• More generally, what does it mean for a fuzzy random quantity to assume a value (perhaps to a certain degree)? How can we buy and sell fuzzy random quantities?
• If we can define a probabilities for fuzzy events and expectations for fuzzy random quantities (and I am not presupposing these to be precise numbers) along behavioural and perhaps operationalisable lines, what will be the relation between probabilities and expectations?
• Will such probabilities and expectations still be `additive’ and `linear’, or will they satisfy other properties, as I hint at in [1-4]. Again, as for subjective precise probabilities, it will be the interpretation that can tell us which properties are considered good (`rational’, `coherent’).

I know of only one attempt to even consider such questions: Peter Walley once showed me a set of notes where he tried to give an operationalisable behavioural definition for the probability of a fuzzy event. This even allowed for an interesting interpretation of the membership function, as an added bonus. I am not sure he considered his attempts there to be worthy of publication, but to me at least, they formed a proof of concept: it is not impossible to try and think about these things in a coherent manner.

With my very best wishes,

Gert de Cooman

References

1. Gert de Cooman, Precision-imprecision equivalence in a broad class of imprecise hierarchical uncertainty models, Journal of Statistical Planning and Inference, 2002, vol. 105, pp. 175-198. DOI:10.1016/S0378-3758(01)00209-9.
2. Gert de Cooman, A behavioural model for vague probability assessments, Fuzzy Sets and Systems, 2005, vol. 154, pp. 305-358. With discussion: papers by Serafín Moral, Lev Utkin, Romano Scozzafava and Lotfi Zadeh. DOI:10.1016/j.fss.2005.01.005.
3. Gert de Cooman, Further thoughts on possibilistic previsions: A rejoinder, Fuzzy Sets and Systems, 2005, vol. 154, pp. 375-385. My rejoinder to comments on my paper `A behavioural model for vague probability assessments’ by Serafín Moral, Lev Utkin, Romano Scozzafava and Lotfi Zadeh. DOI:10.1016/j.fss.2005.02.008.
4. Gert de Cooman and Peter Walley, A possibilistic model for behaviour under uncertainty, Theory and Decision, 2002, vol. 52, pp. 327-374. DOI:10.1023/A:1020296514974.
5. Peter Walley, Statistical Reasoning with Imprecise Probabilities, Chapman and Hall, 1991.

Read more!