Magnitude - Open-Source AI-native Testing-Framework für Web-Apps

• Open-Source-E2E-Testing-Framework auf AI-Basis für Web-Apps
• Testfälle lassen sich einfach in natürlicher Sprache schreiben, ein Reasoning-AI-Agent erstellt den Testplan, und ein visueller AI-Agent erkennt UI-Änderungen und passt sich daran an, um die Tests auszuführen
• Durch die Kombination aus multimodalem LLM und Vision-Modell werden schnelle und präzise UI-Tests durchgeführt; der Plan wird gespeichert und kann so stets auf dieselbe Weise ausgeführt werden
• Tritt ein Problem auf, behebt der Reasoning-Agent es automatisch
• CI/CD-Integration ist möglich, und die Testausführung wird ähnlich wie bei Playwright unterstützt. Tests können in CI-Umgebungen (z. B. GitHub Actions) ausgeführt werden
• Warum nicht OpenAI Operator oder Claude Computer Use verwenden?
  • Magnitude ist so konzipiert, dass Planung und Ausführung getrennt sind
  • Im Vergleich zu APIs für allgemeine Desktop-/Web-Aufgaben ist es für die Testausführung hinsichtlich Geschwindigkeit, Zuverlässigkeit und Kosten optimiert
  • Es stellt einen eigenen Runner bereit, um Zuverlässigkeit, Geschwindigkeit und Kosteneffizienz zu maximieren
• LLM-Empfehlungen
  • Planer-Modell: allgemeines multimodales LLM (empfohlen: Gemini 2.5 Pro)
  • Executor-Modell: schnelles Vision-LLM Moondream
• Beispiel 1

  test('can add and complete todos', { url: 'https://magnitodo.com' })  
      .step('create 3 todos')  
          .data('Take out the trash, Buy groceries, Build more test cases with Magnitude')  
          .check('should see all 3 todos')  
      .step('mark each todo complete')  
          .check('says 0 items left')  
  

• Beispiel 2

  test('can log in and create company')  
      .step('Log in to the app')  
          .data({ username: '[e-mail]', password: 'test' })  
          .check('Can see dashboard')  
      .step('Create a new company')  
          .data('Make up the first 2 values and use defaults for the rest')  
          .check('Company added successfully');