AI-Musik + automatische Chart-Erstellung + Custom-Rhythmusspiel-Sandbox

Hallo.

Ich entwickle ein browserbasiertes Tool zur Erstellung von Rhythmusspielen.
Das Konzept ist einfach: Eine KI erstellt die Musik, Essentia.js analysiert den Beat, und die Spiellogik wird direkt in JS geschrieben.

Demo: https://rhythm-seodang-web.vercel.app/

Die meisten Workflows für Rhythmusspiele sind schwergewichtig: dedizierte Editoren, manuelle Chart-Erstellung, feste Gameplay-Muster, nur für Desktop. Ich wollte etwas bauen, das man einfach in einem Browser-Tab öffnen und sofort ausprobieren kann.

Funktionsweise
Für die Musikerzeugung nutze ich KI-Dienste (Suno/Udio). Aktuell registriere ich die Tracks noch selbst, aber eine Integration ist geplant. Mit Essentia.js (WASM) werden Beat-Tracking, Onset-Erkennung, Energiekurve und Segmentierung vollständig clientseitig verarbeitet. Die Ausgabe ist ein reines Timing-Chart, und was man mit diesem Timing macht, ist frei.

Minigame-Sandbox
Chart und Gameplay sind vollständig voneinander getrennt. Spawn-Regeln, Eingabeverarbeitung und Rendering werden mit kurzen JS-Funktionen definiert. Mit demselben Chart lassen sich ein Taiko-ähnliches Drum-Spiel, Richtungs-Swipes oder auch etwas Experimentelles bauen.

Tech-Stack: Next.js, Essentia.js, PixiJS
Aktueller Stand: Das Projekt befindet sich noch in einer frühen Entwicklungsphase. Ich baue es, während ich die Kernidee validiere. Mit Beispiel-Tracks kann bereits gespielt werden, und Chart-Erstellung sowie Minigame-Workshop funktionieren grundsätzlich. Es gibt noch viel zu verfeinern, und das nächste Ziel ist KI-Musikerzeugung direkt innerhalb der Plattform (Prompt → Track → Play).

Es gibt noch viele Unzulänglichkeiten, aber ich würde mich über Feedback freuen.

[zero0000]

Es wäre gut, wenn es beim ersten Start eine Tastatur-Anleitung gäbe.

[rapina]

Jap!!