- “Unbegrenzte Experimente” klingt vielversprechend, aber der eigentliche Engpass beim Skalieren im E-Commerce ist nicht die Anzahl der Tests — sondern Test-Design, Traffic pro Test und die Kapazität des Teams, Ergebnisse zu interpretieren.
- Unbegrenztes Testen bringt nur dann etwas, wenn du auch gegenseitig exklusive Gruppen, statistische Isolation und genug Traffic pro Variante für aussagekräftige Signifikanz hast.
- Unter den großen Plattformen bieten Varify (Flatrate), Convert und Kameleoon effektiv unbegrenztes Testen innerhalb ihrer Tarife; Optimizely und AB Tasty begrenzen je nach Vertragskonditionen.
- Wenn dein Shop über €5M ARR mit 200.000+ monatlichen Besuchern macht, verändert unbegrenztes Testen wirklich, was möglich ist. Darunter kommst du wahrscheinlich ohnehin nicht über 12-20 qualitativ hochwertige Tests pro Jahr hinaus, egal wie hoch die Obergrenze der Plattform ist.
Das Versprechen ist überall: unbegrenzte Experimente, unbegrenzte Varianten, unbegrenzte Ziele. Für eine wachsende E-Commerce-Marke klingt das nach genau dem, was du brauchst — Beschränkungen aufheben, das Team frei arbeiten lassen, die Erfolge sich addieren sehen. Die Realität ist differenzierter. Unbegrenztes Testen hat echten Wert, aber nur bei bestimmten Traffic-Levels, mit bestimmten Team-Strukturen und nur, wenn die Testing-Plattform die Nebeneffekte (Test-Pollution, statistische Isolation, Performance-Last) richtig handhabt.
Dieser Artikel erklärt, was “unbegrenzt” in der Praxis für E-Commerce-Teams bedeutet, die von €1M auf €50M ARR skalieren — inklusive Traffic-Mathematik, Plattform-Auswahl und wo unbegrenztes Testen tatsächlich verändert, was möglich ist, versus wo es nur ein Marketing-Versprechen ist, das deine Realität nicht beeinflusst.
Was “unbegrenzte Experimente” wirklich bedeutet
Verschiedene Plattformen meinen unterschiedliche Dinge mit “unbegrenzt.” Die vier Varianten:
1. Unbegrenzt aktive Tests
Du kannst beliebig viele Tests gleichzeitig laufen lassen. Die Plattform begrenzt nicht die Anzahl paralleler Experimente. Die meisten modernen Plattformen bieten das inzwischen in ihren mittleren und oberen Tarifen an.
2. Unbegrenzte Varianten pro Test
Du kannst 10 Varianten testen statt auf 4 begrenzt zu sein. Nützlich für Design-Exploration, aber Vorsicht: Mit 10 Varianten bekommt jede nur 10% des Test-Traffics, was bedeutet, dass du 10x so viel Traffic brauchst, um Signifikanz zu erreichen. Oft theoretisch mächtiger als praktisch.
3. Unbegrenzte Ziele/Metriken pro Test
Du kannst Umsatz, Warenkorbwert, Add-to-Cart-Rate, Verweildauer und 50 andere Metriken pro Test tracken. Fast immer Overkill — zu viele sekundäre Metriken erhöhen das Risiko falsch-positiver Ergebnisse und machen die Interpretation schwieriger, nicht einfacher.
4. Unbegrenzte getestete User (kein Traffic-basiertes Pricing)
Die wertvollste Art von “unbegrenzt” für skalierenden E-Commerce. Deine Rechnung ändert sich nicht, wenn der Traffic wächst oder während saisonaler Spitzen steigt. Flatrate-Pricing ist die E-Commerce-freundliche Version davon.
Vorhersehbares A/B-Testing-Pricing beim Skalieren deines E-Commerce.
Varify berechnet eine feste Monatsrate unabhängig vom Traffic. Führe so viele Tests durch, wie dein Team umsetzen kann, ohne dass deine Rechnung mit deinem Wachstum steigt.
Wann unbegrenztes Testen wirklich einen Unterschied macht
Es macht einen Unterschied, wenn:
- Du 200.000+ monatliche Besucher hast. Darunter hast du nicht genug Traffic, um mehr als 4-6 simultane Tests mit statistischer Power zu fahren. Die Obergrenze greift nicht.
- Du ein dediziertes Experimentation-Team hast (2+ Personen). Darunter kannst du nicht genug qualitativ hochwertige Test-Ideen generieren, um ein unbegrenztes Programm zu füllen. Der Engpass verschiebt sich von der Plattform zum Team.
- Du in mehreren Kategorien oder auf verschiedenen Seiten arbeitest. Ein Multi-Kategorie-Händler kann gleichzeitig Tests auf Startseite, Kategorie, Produktseite und Checkout fahren ohne Überlappung. Eine Single-Product-Brand kann das nicht.
- Du saisonale Traffic-Spitzen hast. Unbegrenzte getestete User (also Flatrate-Pricing) ist am Black Friday, Cyber Monday und bei großen Sale-Events wirklich wertvoll.
Es macht keinen Unterschied, wenn:
- Du unter 100.000 monatlichen Besuchern bist. Du fährst so oder so 6-12 Tests pro Jahr; die Obergrenze greift nicht.
- Dein Team eine Person ist, die CRO nebenbei macht. Test-Ideation ist der Engpass, nicht die Plattform-Kapazität.
- Du kein klares Test-Priorisierungs-Framework hast. Unbegrenzte Kapazität ohne Hypothesen-Backlog führt zu unfokussiertem Testen und Rauschen.
Die Traffic-Mathematik für skalierenden E-Commerce
Statistische Signifikanz erfordert eine Mindest-Stichprobengröße pro Variante. Hier die grobe Rechnung:
- 5.000 Besucher pro Variante pro Woche sind ungefähr das Minimum, um einen 10%-Uplift bei einer 2% Conversion Rate (typische E-Commerce-Baseline) zu erkennen.
- Für einen A/B-Test mit 50/50-Split sind das 10.000 Besucher pro Test pro Woche.
- Für 5 simultane Tests auf verschiedenen Seiten brauchst du etwa 50.000 wöchentliche Besucher, die kombiniert durch diese Seiten gehen.
- Für 20 simultane Tests — die Art von Programm, bei dem unbegrenztes Testen zählt — brauchst du typischerweise 200.000+ monatliche Besucher mit genug Seiten-Diversität, um Überlappungen zu vermeiden.
Die meisten skalierenden E-Commerce-Marken erreichen eine praktische Obergrenze von etwa 6-15 qualitativ hochwertigen Tests pro Jahr, unabhängig von der Plattform. Was “unbegrenzt” über dieser Grenze bietet, ist selten der Engpass.
Welche Plattformen tatsächlich unbegrenztes Testen anbieten
Varify — effektiv unbegrenzt innerhalb des Tarifs, Flatrate
Fester Monatspreis bedeutet, dass die Anzahl getesteter User keine Obergrenze hat. Keine Begrenzung simultaner aktiver Tests im Standard-Tarif. Single-Page-Fokus bedeutet, dass simultane Tests über Seiten hinweg sich nicht in die Quere kommen. Starker Fit für europäischen E-Commerce mit Bedarf an vorhersehbarem Pricing bei wachsendem Traffic.
Convert — unbegrenzte Tests in den meisten Plänen
Die meisten Pläne beinhalten unbegrenzte Tests und Ziele. Pricing skaliert mit monatlich getesteten Usern, also gilt “unbegrenzt” nur für die Test-Anzahl, nicht für Traffic.
Kameleoon — unbegrenzt im Enterprise-Tarif
Standard-Tarif bietet unbegrenzte Tests; Pricing ist Enterprise-Level. Stark bei KI-Personalisierung, was Effizienz bei Scale bringen kann.
VWO — Tarif-abhängig, Traffic-basiert
Höhere VWO-Tarife beinhalten unbegrenzte Tests, aber Pricing skaliert mit monatlich getesteten Usern. Ein High-Traffic-Shop kann schnell eine deutlich höhere Rechnung bekommen.
Optimizely — vertraglich definiert
Test-Anzahl und getestete User werden im Enterprise-Vertrag verhandelt. “Unbegrenzt” hängt davon ab, was du unterschrieben hast.
AB Tasty — Tarif-abhängig
Premium-Tarife beinhalten unbegrenzte Tests. Pricing typischerweise Enterprise.
Was skalierendem E-Commerce mehr hilft als unbegrenztes Testen
Wenn du von €1M auf €50M ARR skalierst, zählen unserer Erfahrung nach diese Faktoren mehr als die Test-Obergrenze:
- Ein klares Test-Priorisierungs-Framework. ICE (Impact / Confidence / Ease) oder PIE (Potential / Importance / Ease). Ohne eins läuft dein Team ad-hoc Tests zu dem, was sich diese Woche dringend anfühlt.
- Test-Design-Disziplin. Hypothesen-Statement, einzelne primäre Metrik, definierte Stichprobengröße, vorregistrierter Analyse-Plan. Schlampiges Test-Design verschwendet mehr Uplift als jede Plattform-Obergrenze.
- Statistische Reife. Stoppe Tests bei Signifikanz, nicht am ersten Tag, an dem sie wie ein Gewinner aussehen. Nutze ein Konfidenz-Level, das zu deiner Risikobereitschaft passt (typisch 90-95% einseitig).
- Eine Learning-Library. Dokumentiere jeden Test — Gewinner und Verlierer — mit Hypothese, Variante, Ergebnis und was du gelernt hast. Das potenziert sich über Jahre.
- Vorhersehbares Pricing. Wenn du skalierst, tun Traffic-basierte Pricing-Überraschungen weh. Flatrate vermeidet das.
