Meine Tests konnten die Sprache besser als die Plattform
Drei Fehler in Make-Ausdrücken, die jede lokale Prüfung bestanden haben und die Live-Plattform nicht.
Ich baue Automationen für Kunden in Make, und für einen aktuellen Bau habe ich einen kleinen lokalen Auswerter für Makes Ausdruckssprache geschrieben, um die Logik vor dem Deploy zu testen. Die Tests waren grün. Beim ersten Probelauf in Make markierte eine Bedingung, die drei Prüfungen mit einem logischen UND verknüpfte, alle sieben Testkontakte als fällig für die falsche Mail. Einer der drei Eingangswerte war bei jedem von ihnen nachweislich falsch. Mein Auswerter rechnete UND. Make nicht.
Der Test bildete die Dokumentation ab
Die Automation entscheidet, welche Folge-Mail ein Interessent als nächste bekommt. Die Regel für einen Zweig war einfach: diese Mail, wenn zwei Merker gesetzt sind und ein Event aktiv ist. Im Lauf stand der Event-Merker bei allen sieben Kontakten auf „0". Der Ausdruck lieferte trotzdem bei jedem „1".
Mein lokaler Auswerter hatte denselben Ausdruck gelesen, UND so angewendet, wie es jede mir bekannte Sprache tut, und „0" geliefert. Über die Sprache lag er richtig. Über die Plattform lag er falsch. Ich hatte ein Testdouble dafür geschrieben, wie die Ausdruckssprache sich verhalten sollte, und das Double war korrekter als das, wofür es stand.
Verschachtelte Bedingungen funktionierten. Eine Kette von Wenn-Abfragen, jede mit genau einer Prüfung, kam in Make zum richtigen Ergebnis. Nur die verknüpfte Form schlug fehl.
Ein lokaler Test kann sich nur so irren wie sein Autor. Die Plattform kann sich auf Arten irren, die der Autor sich nie vorgestellt hat.
Zwei weitere derselben Sorte
Als ich wusste, wonach ich suchen musste, habe ich kleine Probe-Automationen direkt in Make laufen lassen, jede mit einem Ergebnis, das ich danach auslesen konnte.
- **Leer ist nicht gleich leer.** Eine Prüfung der Form „Feld ist gleich Leerstring" war falsch, wenn das Feld leer war. Makes eigene Funktion für Leerwerte lieferte das richtige Ergebnis. Mein Auswerter lieferte wieder das, wonach der Code zu fragen schien.
- **Gespeichert ist nicht gültig.** Bei der Suche im Konto fand ich eine Automation, die sieben Wochen vorher bearbeitet worden war. Make hatte das Speichern angenommen und sie als gültig angezeigt. Gelaufen war sie seitdem nicht, weil niemand den Link geklickt hatte, der sie auslöst. Meine Probe war ihr erster Lauf. Er scheiterte an der Validierung, tat nichts, und Make hat die Automation sofort deaktiviert. Die nächsten fünf Probe-Anfragen wurden mit „angenommen" beantwortet und in eine Warteschlange gelegt. Jeder echte Klick in diesen sieben Wochen wäre an derselben Wand gelandet.
Der letzte Fall ist der gefährliche. Ein Speichern, das Erfolg meldet, und ein Webhook, der „angenommen" meldet, sind zwei Bestätigungen, und keine davon sagt, dass die Logik laufen wird. Behoben hat es, den einen Ausdruck zu entfernen, der einen Vergleich mit UND verknüpfte; die nächste Probe lief sechs von sechs.
Aus der Überraschung ein Gate machen
Jeder Befund ist als Prüfung ins Bauskript gewandert, die den Deploy verweigert:
- kein UND oder ODER innerhalb eines Ausdrucks, nur verschachtelte Bedingungen
- kein Vergleich mit einem Leerstring, nur Makes Leerwert-Funktion
- nach jeder Änderung an einem Ausdruck in einer Webhook-Automation einen harmlosen Lauf erzwingen, mit einem Filter, der eine bekannte Testadresse stoppt, bevor etwas verschickt wird
Danach habe ich jede Automation im Konto nach denselben Mustern durchsucht. Zweiundneunzig Automationen, fünf mit einer echten Falle. Die drei aktiven sind umgeschrieben, für die zwei inaktiven liegt der Fix bereit, bis sie wieder eingeschaltet werden. Keine hatte sichtbaren Schaden angerichtet, weil der betroffene Zweig entweder keinen Verkehr hatte oder das Feld in der Praxis nie leer war. Das ist Glück, keine Sicherheit.
Was ich jetzt anders mache
Lokale Tests bleiben. Zu den Fixes oben gehören siebzig davon, alle grün. Sie sind schnell, sie finden Tippfehler und falsche Feldnamen, und sie lassen mich über die Logik nachdenken, bevor die Plattform beteiligt ist. Was sie nicht können: mir sagen, wie Make die Sprache auswertet. Sie rechnen die Logik, die ich gemeint habe. Ob Make dasselbe rechnet, zeigt nur eine Probe, ein Lauf auf der Plattform, der zurückschreibt, was er gerechnet hat.
Jedes überraschende Plattformverhalten behandle ich jetzt als Regel mit angehängtem Test statt als etwas, das man sich merken muss. Die nächste Person, die den Bau anfasst, ich selbst in drei Monaten eingeschlossen, wird es sich nicht merken. Das Gate schon.
Ein lokaler Auswerter testet, wie man die Sprache verstanden hat. Eine Probe auf der Plattform testet die Sprache. Wenn beide sich widersprechen, gewinnt die Plattform, und der Unterschied wird zum Gate.

