OQBoost: Praxistaugliche Oblique Trees

OQBoost ist eine Gradient Boosting Decision Tree(GBDT)-Bibliothek auf Basis von 2D Oblique Splits.

Die etablierten GBDT-Bibliotheken XGBoost, LightGBM und CatBoost verwenden überwiegend achsenparallele (axis-aligned) Splits. Da dabei nur ein einzelnes Feature für die Aufteilung genutzt wird, sind sie sehr schnell und effizient; um jedoch diagonale Entscheidungsgrenzen oder Interaktionen zwischen zwei Variablen darzustellen, müssen mehrere Bäume kombiniert werden.

Um diese Einschränkung zu adressieren, nutzt OQBoost als grundlegende Split-Einheit 2D Oblique Splits, die zwei Features gleichzeitig verwenden. Durch direkte schräge Splits an einem Knoten soll eine höhere Ausdrucksstärke geboten werden, während zugleich eine praxistaugliche Trainingsgeschwindigkeit erhalten bleibt.

Dafür kombiniert OQBoost einen schnellen Richtungssuchalgorithmus auf Basis von Grid Label Accumulation mit Hessian-weighted Regression und reduziert so die hohen Rechenkosten klassischer Oblique Trees deutlich. Außerdem erreicht es durch verschiedene Optimierungen wie Lazy Binning, Fast Search, Cache und Precomputation eine Trainingsgeschwindigkeit auf dem Niveau einer real nutzbaren Bibliothek.

Derzeit bietet OQBoost folgende Funktionen:

• Binary Classification
• Multiclass Classification (Joint Training)
• Regression
• Native Missing Value Handling
• Native Categorical Feature Support
• SHAP-style Built-in Explanation
• Kernel SHAP Compatibility
• Multi-thread Training
• Scikit-learn Compatible API

In Experimenten zeigte OQBoost auf verschiedenen öffentlichen Datensätzen eine Leistung, die mit bestehenden GBDT-Bibliotheken konkurrieren kann.

• Binary Classification: durchschnittlich Platz 1 im AUC-Ranking
• Regression: durchschnittlich Platz 1 im R²-Ranking
• Multiclass Classification: Leistung auf ähnlichem Niveau wie LightGBM und XGBoost

Ziel von OQBoost ist es nicht, bestehende GBDT einfach neu zu implementieren, sondern eine neue Gradient-Boosting-Engine bereitzustellen, die Oblique Splits zu praxistauglichen Kosten nutzbar macht.