Ein Auto mit einer Allergie gegen Vanilleeis (2000)
(cs.cmu.edu)- Ein neuer Pontiac-Besitzer beschwerte sich bei der General Motors Pontiac Division, dass sein Auto jeden Abend nach dem Kauf von Eis nur dann nicht ansprang, wenn er Vanille gewählt hatte
- Der Pontiac-Präsident zweifelte an dem Brief, schickte aber einen Ingenieur, und vor Ort ließ sich das Startversagen nach dem Kauf von Vanille tatsächlich reproduzieren
- An Tagen, an denen Schokolade oder Erdbeere gekauft wurden, sprang der Wagen an, doch an Tagen mit Vanille trat der Fehler erneut auf, sodass sich die absurd wirkende Bedingung wiederholt bestätigte
- Der Ingenieur notierte Uhrzeit, Kraftstoffsorte, Fahrzeit für Hin- und Rückweg sowie Kaufdauer und entdeckte schließlich den Unterschied im Ablauf: Vanille ließ sich schnell aus einem separaten Kühler direkt am Eingang kaufen
- Die Ursache war nicht die Eissorte, sondern ein Vapor Lock, der entstand, weil der Motor wegen der kurzen Kaufzeit nicht ausreichend abkühlte; selbst seltsame Meldungen müssen durch Beobachtung und Reproduktion überprüft werden
Pontiacs seltsames Startproblem
- Ein Pontiac-Besitzer schickte einen zweiten Brief an die Pontiac Division von General Motors
- Seine Familie stimmte jeden Abend nach dem Essen über die Eissorte für das Dessert ab, und er fuhr jedes Mal zum Laden, um das Eis zu kaufen
- Nach dem Kauf eines neuen Pontiac trat das Problem nur unter einer bestimmten Bedingung wiederholt auf
- Wenn er Vanilleeis kaufte, konnte er nach der Rückkehr vom Laden das Auto nicht starten
- Wenn er andere Sorten kaufte, sprang das Auto normal an
- Er räumte ein, dass die Frage albern klingen mochte, fragte aber dennoch, warum der Pontiac nur dann nicht ansprang, wenn er Vanille kaufte
Überprüfung vor Ort und wiederholte Reproduktion
- Der Pontiac-Präsident betrachtete den Brief skeptisch, schickte jedoch einen Ingenieur, damit dieser den Fall direkt überprüfte
- Der Ingenieur traf den Besitzer direkt nach dem Abendessen und fuhr gemeinsam mit ihm zur Eisdiele
- An diesem Tag sollte Vanille gekauft werden, und als die beiden zum Auto zurückkehrten, sprang es tatsächlich nicht an
- In den folgenden drei Tagen wurden die Bedingungen variiert und das Ergebnis war eindeutig
- Am ersten Tag sprang das Auto an, nachdem Schokolade gekauft worden war
- Am zweiten Tag sprang das Auto auch an, nachdem Erdbeere gekauft worden war
- Am dritten Tag schlug der Start erneut fehl, nachdem Vanille gekauft worden war
Hinweise aus den Beobachtungsnotizen
- Der Ingenieur akzeptierte nicht die Deutung, das Auto habe eine Allergie gegen Vanilleeis
- Er beschloss, so lange weiter zu beobachten, bis das Rätsel gelöst war, und hielt verschiedene Daten fest
- Uhrzeit
- verwendete Kraftstoffsorte
- Fahrzeit für Hin- und Rückweg zum Laden
- Zeit, die für den Einkauf benötigt wurde
- Der entscheidende Hinweis war, dass der Kauf von Vanille weniger Zeit brauchte als der anderer Sorten
- Die Anordnung im Laden verursachte diesen Zeitunterschied
- Vanille war die beliebteste Sorte und lag in einem separaten Kühler direkt vorne im Laden, damit man sie schnell greifen konnte
- Andere Sorten befanden sich hinten im Laden an einer anderen Theke, sodass das Suchen und Bezahlen deutlich länger dauerte
Die tatsächliche Ursache: Vapor Lock
- Der Kern des Problems war nicht die Eissorte, sondern die kurze Wartezeit
- Nachdem der Ingenieur erkannt hatte, dass die Zeit der Auslöser war, identifizierte er Vapor Lock als Ursache
- Vapor Lock trat jeden Tag auf, doch beim Kauf anderer Sorten dauerte der Einkauf länger, sodass der Motor ausreichend abkühlen konnte und sich das Auto starten ließ
- Beim Kauf von Vanille war die Einkaufszeit zu kurz, der Motor war noch heiß, und der Vapor Lock hatte sich noch nicht aufgelöst, sodass das Auto nicht ansprang
Lehre
- Auch wenn ein Problem auf den ersten Blick unsinnig wirkt, können beobachtete Tatsachen dennoch real sein
- Selbst wenn ein Symptom absurd erscheint, kann man durch wiederholte Prüfung der Bedingungen und das Sammeln von Daten die tatsächliche Ursache finden
1 Kommentare
Hacker-News-Kommentare
Ende der 90er gab es bei der Arbeit einen ähnlichen Fall. Die Maus eines Mitarbeiters blieb nur zu bestimmten Tageszeiten stehen: morgens war sie in Ordnung, gegen Mittag funktionierte sie nicht, später dann wieder.
Der entscheidende Hinweis war, dass sie an bewölkten Tagen den ganzen Tag problemlos lief, an sonnigen Tagen aber immer wieder dasselbe Fehlverhalten zeigte. Wie sich herausstellte, war das Kunststoffgehäuse der billigen Kugelmaus so dünn, dass an sonnigen Tagen das Sonnenlicht die X-/Y-Achsen-Sensoren stärker überstrahlte als die LED; erst nachdem die Sonne weitergewandert war und Schatten entstand, funktionierte sie wieder normal. Anfangs klang das absurd, aber die Ursache war völlig logisch.
Einige Versionen des Pangu-Jailbreaks für iOS 7.1.x scheinen während des Bootens abgestürzt zu sein, wenn der Wert des Umgebungslichtsensors unter einem bestimmten Schwellenwert lag. Die genaue Ursache ist bis heute unklar, aber offenbar enthielt Pangu unnötigen Code, der den Lichtsensor ansprach [1].
[1] https://www.reddit.com/r/jailbreak/comments/294wob/jailbreak...
[2] https://www.reddit.com/294wob/
Nachdem alles Mögliche überprüft worden war, stellte sich heraus, dass das Problem nicht bei Regen auftrat, sondern bei dichtem Nebel oder Nieselregen. Der Techniker des Kabelanbieters stellte fest, dass im Haus alles in Ordnung war; das Kabel von der Hauptleitung zum Haus hatte jedoch eine winzige Beschädigung, durch die Umgebungsfeuchtigkeit eindrang und die Verbindung störte.
Wenn der Eisbehälter voll ist, sollte ein blockierter Infrarotstrahl die Eisproduktion stoppen, aber an sonnigen Tagen täuscht das helle Licht in der Küche den Sensor, sodass weiter Eis produziert wird. Deshalb liegt jetzt einfach irgendein Magazin oben darauf, damit das Gerät korrekt funktioniert.
Eines Tages begannen Tests für eine grafische X-Client-App plötzlich sporadisch fehlzuschlagen, ließen sich unter anderen Bedingungen aber nicht reproduzieren. Wie sich herausstellte, liefen die CI-Jobs auf Desktop-Rechnern, die irgendwo im Büro standen, und jemand hatte an einen davon eine Maus angeschlossen und sie auf einem Regal liegen lassen. Wenn die Last auf dem Rechner stieg, drehten die Lüfter schneller, die Vibrationen nahmen zu, und die Maus bewegte sich ein winziges Stück; aus unbekanntem Grund hatte das Seiteneffekte auf die Tests. Ich war ziemlich stolz darauf, das per SSH diagnostiziert zu haben, ohne überhaupt vor Ort bei der Maschine zu sein.
Wie sich herausstellte, sendeten die Solarmodule oder die Optimierer bzw. der Wechselrichter Funkfrequenzen aus, die die Fernbedienung des Garagentors störten. Wenn bei Sonnenschein Strom erzeugt wurde, war die Störung stärker als der HomeLink-Garagentoröffner. Vor ein paar Jahren funktionierte der Garagentoröffner plötzlich wieder gut; ein paar Tage später stellte sich heraus, dass der Wechselrichter ausgefallen war. Nach FCC-Regeln müsste das Installationsunternehmen das vielleicht beheben, aber weil das Verhältnis bei der Installation beschädigt wurde, erschien es besser, auf die Fernbedienung zu verzichten, als sich wegen einer Garantiereparatur wieder mit ihnen herumzuschlagen.
Eine lustige Anekdote aus der Zeit, als es noch Serverräume gab, die ich nur vom Hörensagen kenne. Der Server der Firma eines Freundes startete jeden Tag gegen 17 Uhr neu, und obwohl sie auf Betriebssystemseite alles Mögliche prüften, fanden sie die Ursache nicht.
Schließlich stellten sie sich zu dieser Zeit vor den Server und sahen, wie die Reinigungskraft den Raum betrat, den Strom des Server-Racks herauszog, den Staubsauger einsteckte, putzte und anschließend das Server-Rack wieder einsteckte.
Eine bestimmte Kamera startete jeden Tag fast zur gleichen Zeit neu – nicht exakt in derselben Sekunde, sondern an einem Tag um 19:12:10, am nächsten Tag zwei Sekunden später, am übernächsten wieder zwei Sekunden später, also mit einem klaren Muster. Wie sich herausstellte, warf beim Sonnenuntergang ein Straßenelement einen Schatten vor die Kamera, und die Software hielt ihn fälschlich für ein Fahrzeug und begann, Klassifizierungsinformationen zu sammeln. Da sich der Schatten viel langsamer bewegte als ein echtes Fahrzeug, ging der Speicher aus, bevor er den Bildausschnitt verlassen konnte; das System blieb hängen und wurde anschließend vom Watchdog neu gestartet. Das Zeitmuster entstand, weil sich der Sonnenstand täglich änderte und der Schatten den Algorithmus jeden Tag etwas später täuschte.
[0] https://old.reddit.com/r/talesfromtechsupport/comments/5yrs1...
[1] https://www.goodreads.com/book/show/3227607-the-devouring-fu...
Ich saß eine Woche lang zu dieser Zeit dort und sah, wie das Licht dunkler wurde und der Neustart passierte. Der Anwalt im Nachbarbüro kam zur Arbeit und schaltete gleichzeitig PC, Drucker und Kaffeemaschine an derselben Mehrfachsteckdose ein; durch den Einschaltstrom fiel die Spannung im Stromkreis ab, an dem der Server hing. Es gab eine USV, aber damalige Consumer-USVs behandelten nur Stromausfälle; ich maß, dass die Spannung bis auf 85V fiel, und tatsächlich startete der Server unterhalb von 95V oft neu.
Es war ein früher Freitagnachmittag, heiß und schwül, ein Gewitter zog auf, und gegen 16 Uhr kam der Verantwortliche und sagte, ich solle mich beeilen, weil um 17 Uhr im gesamten Gebäude der Strom abgeschaltet werde. Jeden Freitag wurde zur Energieeinsparung der Strom abgeschaltet, und ausgerechnet jeden Freitag um 16:30 Uhr war die DB-Bereinigung geplant. Also reparierte ich das Problem in der verbleibenden Stunde, stornierte den Termin für diese Woche und fuhr den DB-Server manuell herunter. Sie kappten jede Woche hart den Strom und erzeugten damit Produktionsstörungen auf dem Netware-Server und dem DB-Server der Gebühreneinzugssoftware; laut Wartungsvertrag mussten wir das jedes Mal beheben. Erst nach ungefähr einem Monat wurde die harte Stromabschaltung schließlich auf Samstagmorgen verschoben, sodass der Server nach Abschluss der Backup-Jobs ordnungsgemäß herunterfahren konnte.
Das erinnert mich an einen GM-Minivan, den mein Schwager in den 80ern fuhr. Das Auto hatte ihm mein Schwiegervater gegeben, der Autoingenieur bei GM war; manchmal sprang es scheinbar zufällig nicht an und sah aus, als wäre das gesamte elektrische System tot.
Mein Schwager galt als jemand, der sich mit Autos nicht auskannte, daher nahm mein Schwiegervater seine Beschwerden nicht ernst. Schließlich tauschten sie für einen Monat die Autos, das Problem trat auf dem Parkplatz des GM Technical Center wieder auf, und auch die herbeigerufenen GM-Ingenieure konnten nicht herausfinden, warum es so aussah, als wäre das elektrische System tot. Damit war mein Schwager rehabilitiert.
Ein paar Stunden später sprang er an, als wäre nichts gewesen, sodass auch die Werkstatt nichts diagnostizieren konnte. Später sprang er sogar beim Offroad-Camping nicht an und begann, den Alltag zu beeinträchtigen. Schließlich ließ ich ihn, als er in der Einfahrt zu Hause nicht ansprang, zu einer freien Werkstatt abschleppen, wo der Fehler ebenfalls reproduzierbar war. Der Mechaniker schlug vor, entweder das ECU-Modul oder den Sicherungskasten selbst zu ersetzen; die ECU hätte mehrere Tausend Dollar gekostet, der Austausch des Sicherungskastens dagegen inklusive Arbeit weniger als 200 Dollar, also entschied ich mich für Letzteres. Sechs oder sieben Jahre später ist dieses Auto immer noch unser wichtigstes und einziges Auto, und seither gab es kein einziges mechanisches Problem mehr.
Dass GM-Fahrzeuge aus einer berüchtigten Ära wahnsinnig machende, mysteriöse elektrische Probleme haben, ist durchaus plausibel.
Vermutlich blieb irgendwo ein Relais wegen Überhitzung in geschlossenem Zustand hängen, aber ich konnte es nie selbst debuggen, und mein Cousin, der Automechaniker war, fand es auch nicht. Wir bemühten uns nicht besonders; wenn es passierte, zog ich die Sicherung heraus und steckte sie am nächsten Morgen wieder ein.
Der Anlasser drehte zwar oft problemlos, aber die Elektronik blieb in einem seltsamen Zustand hängen und kam erst wieder heraus, nachdem man die Batterie abgeklemmt und damit einen Hard Reset gemacht hatte.
In einem früheren Haus hatte ich ein seltsames, wiederkehrendes Phänomen mit elektronischen Geräten. An einem bestimmten Wochentag um Mitternacht war aus fest installierten elektronischen Geräten leise etwas zu hören, das wie eine Aufnahme politischer Reden aus dem Zweiten Weltkrieg klang.
Das Geräusch war so leise, dass man es kaum einer Stelle zuordnen konnte, und die Worte waren nicht zu verstehen; es wirkte, als würde überall gleichzeitig eine alte Aufnahme abgespielt. Es ging weiter, selbst wenn man den Stecker zog oder im Haus der Strom ausfiel. Ich dachte schon, ich werde verrückt oder im Haus spukt Hitlers Geist, aber später hörte ich etwas Ähnliches im Autoradio und verstand es. Ein katholischer AM-Radiosender begann am selben Wochentag zur selben Uhrzeit mit Gregorianischem Gesang und Predigten zu senden, und die Hausverkabelung verhielt sich irgendwie wie ein AM-Radioempfänger; einige Bauteile gaben das Audiosignal aus dem Funksignal als Vibrationen wieder.
Jedes Mal, wenn mein Sohn American Truck Simulator spielte, ging der Laptop-Bildschirm aus, und solange der Bildschirm schwarz war, fuhr der Truck von der Straße ab.
Wenn ich auf demselben Laptop spielte, passierte das nicht, also war mein Sohn überzeugt, er sei verflucht. Nachdem sich das ein paar Tage wiederholt hatte, beobachtete ich ihn beim Spielen und bemerkte, dass sein Uhrenarmband ein Metallband mit Magnetverschluss war. Die Position seines Handgelenks löste den Hall-Sensor des Laptops aus, sodass dieser dachte, der Deckel sei geschlossen. Mein Sohn, meine Frau und ich waren alle erleichtert zu wissen, dass er nicht verflucht war.
https://www.ifixit.com/News/33952/apple-put-a-hinge-sensor-i...
Solche Geschichten machten Car Talk so unterhaltsam. Es ging nicht einfach darum, dass Mechaniker Autos reparieren, sondern die Situationen waren so bizarr und ungewöhnlich, dass sie spannend wurden.
Es machte auch großen Spaß zu hören, wie erfahrene Mechaniker so viele seltsame Fälle gesehen hatten, dass sie sie geradezu gelassen hinnahmen; außerdem waren sie hervorragende Erzähler.
Für mich lautet die Lehre weniger „Auch Probleme, die absurd wirken, können manchmal echt sein“, sondern eher: Das Problem des Nutzers existiert in der Regel wirklich, aber traue seiner Ursachenanalyse nicht.
Der Brief behauptete nicht, dass das Eis die Grundursache sei, sondern machte sehr deutlich, dass es die unmittelbare Ursache war. Der Pontiac-Präsident und die Person, die diese „Lehre“ formulierte, haben die beiden vielleicht verwechselt, der untersuchende Ingenieur aber nicht.
Aus meiner Erfahrung in der Entwicklung inklusive Helpdesk-Arbeit: Nutzer erklären leicht irgendwelche beliebigen Fakten zur Ursache eines Problems. Heuristiken wie „Korrelation ist Kausalität“ oder post hoc ergo propter hoc können hilfreich sein, aber es ist schlecht, wenn sie Schlussfolgerungen ersetzen. Nutzer kennen die Funktionsweise der Dinge, die sie verwenden, nicht und können sie daher schwer korrekt diagnostizieren; Nutzer, die meinen, „sich damit etwas auszukennen“, sind oft gerade die schwierigsten.
Im Auto meiner Frau ist derzeit zu wenig Scheibenwaschflüssigkeit, aber die Warnung erscheint beim Fahren nur an einer bestimmten Stelle. Es ist nicht eine bestimmte Entfernung von zu Hause, sondern eine exakte Position.
Zuerst dachte ich, es liege an der Zeit, die seit dem Losfahren oder Zurückfahren vergangen ist, aber egal ob ich vorher 5 Minuten, 5 Meilen, 1 Stunde oder 60 Meilen gefahren bin: An genau dieser Stelle erscheint immer die Warnung auf dem Display und per Ton. Der einzige zusätzliche Hinweis ist, dass dieser Punkt bei den meisten Mobilfunknetzen und Anbietern ein Funkloch ist. Nachdem wir die Waschflüssigkeit nachgefüllt haben, liegt das Rätsel erst einmal im Dornröschenschlaf, aber ich frage mich, ob dort alle Warnungen ausgelöst werden. Es wirkt fast, als würde die Fahrzeugtelemetrie an dieser Stelle angestoßen, aufwachen und etwas melden.
Das könnte genug merkwürdige Störungen verursachen, um den Sensor knapp von „genug Flüssigkeit“ auf „zu wenig“ zu schieben.
Es ist schlicht ein Problem mit der Bewegung der Flüssigkeit im Behälter. Heute habe ich die Windschutzscheibe ein wenig gereinigt, damit das Auto die Niedrigstandsanzeige dauerhaft eingeschaltet lässt.
In einer Nacht im Informatik-Praktikumsraum, als ich an einer Java-Aufgabe arbeitete, kam der zuständige Professor vorbei und sagte: „Ah, bei dieser Maschine wirst du Glück brauchen.“
Diese Maschine stürzte früher bei so ziemlich jedem Java-Programm spektakulär ab, während C++ oder Python problemlos liefen. Auch das Programm des Professors, der es anfangs nicht glauben wollte, brachte die Maschine zum Absturz. Nach etwa zwei Wochen Untersuchung durch einen Techniker und den Professor stellte sich heraus, dass die JVM beim Start jedes Mal die Ganzzahl 12 derselben RAM-Adresse zuwies, und dass der RAM-Chip, der diese Hardware-Adresse enthielt, defekt war. Jedes Mal, wenn versucht wurde, diese Adresse zu belegen, kam es zum Crash; nach dem Austausch des fehlerhaften RAM-Riegels war das Problem sofort behoben.
https://marcan.st/2017/12/debugging-an-evil-go-runtime-bug/
Das Ende werde ich nicht spoilern. Es ist eine lange, verschlungene Debugging-Reise und lesenswert. HN-Diskussion:
https://news.ycombinator.com/item?id=15845118
Diese Geschichte ist ein interessantes Beispiel für eine Störvariable.
In der kausalen Inferenz ist eine Störvariable eine Variable, die sowohl die abhängige als auch die unabhängige Variable beeinflusst und so eine Scheinkorrelation erzeugt. Es handelt sich um ein Kausalitätskonzept, das sich nicht allein durch Korrelation erklären lässt, und um einen wichtigen quantitativen Grund für „Korrelation impliziert keine Kausalität“.
https://en.wikipedia.org/wiki/Confounding
Als statistisches Modell formuliert, kann man es etwa als
S = f(H, I, T)sehen.Ssteht dafür, ob das Auto anspringt,Hfür die Motortemperatur,Ifür die gewählte Eissorte undTfür die Zeit, die der Kauf des Eiscremes dauert. WennTkurz ist, ist der Motor noch heißer und damit anfälliger für Vapor Lock, wasSbeeinflusst; zugleich hängt es mitIzusammen, weil die Position des Vanilleeises einen schnellen Kauf ermöglicht. Dadurch entsteht eine Scheinkorrelation zwischenIundS.TIbeeinflusst, sondernIT? Schließlich bestimmt die Eissorte, wie lange man im Laden braucht.