KI hat das technische Vorstellungsgespräch zerstört. Was nun?

• Den Einstellungsprozess hasst eigentlich jeder: Hiring Manager, Recruiter und Bewerber gleichermaßen
• Das technische Interview ist darunter eine besonders berüchtigte Phase, die die meisten Interviewten nicht mögen
• Die tatsächliche Arbeit besteht oft hauptsächlich aus einfachen API-Integrationen, im Interview werden jedoch häufig komplexe Theorie und Algorithmen abgefragt
  • So wie der Entwickler von Homebrew, das angeblich von 90 % der Google-Ingenieure genutzt wird, im Interview durchfiel, weil er die Umwandlung eines Binärbaums nicht am Whiteboard lösen konnte

Veränderungen der letzten Jahre (Faktoren, die Interviews entwerten)

• Bei Remote-Interviews kam es vor, dass Kandidaten die Kamera ausschalteten und einen Stellvertreter engagierten
• Es gab Fälle, in denen nordkoreanische Arbeiter mit Deepfake-Videos versuchten, Jobs zu bekommen
• Mit dem Aufkommen automatischer Coding-Tools wie GitHub Co-pilot und Cursor sowie LLMs wie Claude oder OpenAI lassen sich grundlegende Coding-Aufgaben und Frage-Antwort-Runden leicht bewältigen
• KI greift zunehmend in alles ein, vom Schreiben des Lebenslaufs über Massenbewerbungen bis hin zu Videointerviews, aber dieser Text konzentriert sich auf das technische Interview selbst

Die Grundlagen des technischen Interviews

Fast jedes Unternehmen, das Entwickler einstellt, hat einen leicht abgewandelten Prozess wie den folgenden

• Hackerrank-Voraufgabe
  • Dient als Filter für die Auswahl von Junior- oder Praktikumsentwicklern
  • Die Aufgaben können online frei gelöst werden
• Grundlagen der Informatik (Comp Sci Fundamentals)
  • Dabei wird nach Datenstrukturen, Algorithmen, Big O usw. gefragt
  • Oft auf Junior-Entwickler ausgerichtet
• Coding-Interview
  • Bewertet die Fähigkeit, tatsächlich Code zu schreiben und auszuführen
  • Anhand einfacher Projektbeispiele werden grundlegende Sprachkenntnisse und Problemlösungsfähigkeiten geprüft
• Architektur/Design
  • Eher für Senior- als für Junior-Entwickler gedacht
  • Bewertet Systemdesign, Skalierbarkeit, Datenbanken und API-Design

Einsatz von KI im Interview

• Durch KI ist die Filterfunktion von Voraufgaben wie Hackerrank stark geschwächt worden
• Auch Grundlagen der Informatik und Coding-Interviews werden zunehmend leicht lösbar, weil der Schwierigkeitsgrad der Fragen in den Antwortbereich von LLMs fällt
• Architektur-/Design-Interviews sind derzeit noch vergleichsweise sicher, aber langfristig könnte auch dieser Bereich bedroht sein, wenn KI weiter voranschreitet

Was sind unsere Optionen?

• 1. Remote-Technikinterviews abschaffen
  • Wenn der Interviewer direkt daneben sitzt, ist der Einsatz von KI schwierig
    • Unter der Annahme, dass alle übrigen Schritte bestanden werden, könnte das auf ein persönliches Coding-Interview hinauslaufen
• 2. Software im Stil von Pearson Vue verwenden
  • Überwachungssoftware wird installiert und per Kamera beaufsichtigt
  • Das ist nicht perfekt, da verschiedene Umgehungsmethoden bekannt sind (es gibt sogar eigene Subreddits dazu)
• 3. Das Problem ignorieren
  • Ein Ansatz, der sich auf den moralischen Appell "Bitte keine KI verwenden" stützt
  • Am Ende sind dadurch die im Vorteil, die KI einsetzen, was es Unternehmen erschwert, geeignete Kandidaten auszuwählen
• 4. Den Einsatz von KI erlauben
  • Statt reiner Coding-Skills werden dann die Fähigkeit bewertet, gute Prompts für LLMs zu schreiben, sowie Refactoring-Kompetenz
  • In dieser Übergangsphase braucht es außerdem noch genug Coding-Können, um Fehler in KI-Ausgaben selbst korrigieren zu können
• 5. Hybrider Ansatz
  • Eine Mischform, bei der zunächst remote etwa die Fähigkeit zum Umgang mit KI geprüft wird und anschließend eine abschließende Offline-Verifikation erfolgt

Mögliche Lösungen

• Langfristig erscheinen die Ansätze 4 und 5 am ehesten realistisch
• Selbst wenn RTO eingeführt wird, kann man nicht alle weit entfernten Kandidaten offline einladen, daher braucht es effiziente Verfahren
• Eine weitere Alternative ist, das Format des Interviews selbst zu verändern
  • Heutige Coding-Interviews beschränken sich oft auf kleine Aufgaben auf dem Niveau von FizzBuzz oder einer Taschenrechner-Implementierung
  • Mit KI-Unterstützung ließe sich der Schwierigkeitsgrad mehr als verzehnfachen und als Prozess zum Erstellen einer vollständigen Anwendung bewerten
  • Man könnte auch versuchen, Architektur und Coding in einem längeren Interview von etwa zwei Stunden zu kombinieren
• In einem solchen Ansatz kann verlangt werden, eine Anwendung zu bauen, zu erweitern und zusätzliche Funktionen zu implementieren
  • Wenn die Codebasis wächst, hat das den Vorteil, dass sich prüfen lässt, ob jemand Konsistenz wahren kann und ob seine Fähigkeiten über oberflächliche Antworten hinausgehen
• Auf diese Weise lassen sich folgende Punkte bewerten
  • Grundlegende Fähigkeiten im Umgang mit Tools wie git und IDE
  • Die Fähigkeit, LLMs wirksame Prompts zu geben und sie so zu steuern, dass bessere Ausgaben entstehen
    • Die Fähigkeit, LLM-Ausgaben zu verstehen und zusammenzuführen, um wartbaren Code fertigzustellen
    • Ob innerhalb begrenzter Zeit eine Anwendung mit einem gewissen Mindestmaß an Umfang und Skalierbarkeit fertiggestellt werden kann
  • Die Fähigkeit, konsistente Qualität und Logik aufrechtzuerhalten
• Diese Art ganzheitlicher Bewertung könnte zu einer Alternative für Coding-Interviews im Zeitalter der KI werden

Zusammenfassung

• Technische Interviews stehen in naher Zukunft vor großen Veränderungen
• Im Moment kann der Einsatz von KI noch vergleichsweise langsam wirken oder unbeholfen auffallen, aber mit der Zeit könnte KI immer besser verborgen werden
• Daraus könnten folgende Szenarien entstehen
  • Die Bestehensquote steigt, dafür könnte es mehr Fälle geben, in denen Menschen erst während der tatsächlichen Arbeitsphase (Probezeit) scheitern
  • Für Junior-Entwickler könnte die Belastung weiter steigen, schon früh mit den hohen technischen Anforderungen von Unternehmen Schritt halten zu müssen
• Wenn sich Methoden verbreiten, mit KI FAANG-Interviews zu bestehen, könnte sich das Tempo des Wandels weiter beschleunigen

[scheee]

Ich mache mir Sorgen, dass am Ende unschuldigerweise die AI die Schuld bekommt, obwohl wir doch die Diskrepanz zwischen technischen Vorstellungsgesprächen und der tatsächlichen Arbeit verringern sollten.

[whitelips]

Ich weiß nicht, ob es an dieser Veränderung liegt, aber bei der Firma, für die ich arbeite, machen wir im Interview Live-Coding ohne vorherige Aufgaben.

[cnaa97]

Bei uns geht es inzwischen in Richtung einer Richtlinie, die es erlaubt, bei technischen Vorstellungsgesprächen mit KI zu antworten … Da der Input den Output bestimmt, will man eher die Fähigkeit beurteilen, gute Fragen zu stellen.

[cronex]

Ich finde, man sollte KI nutzen dürfen.
Aber das Ergebnis daraus muss man sich zu 100 % zu eigen machen.
Wenn ich Interviewer wäre, würde ich online eine Coding-Aufgabe geben und dann im persönlichen Gespräch verlangen, den entsprechenden Code zu erklären. Natürlich würde ich auch zusätzliche Fragen stellen.
Wenn jemand den eingereichten Code – egal ob selbst geschrieben oder von einer KI erstellt – nicht erklären und Fragen dazu nicht beantworten kann, sollte man ihn durchfallen lassen.

[bbulbum]

Statt der Coding-Fähigkeiten wird wohl zunehmend die Fähigkeit bewertet, gute Prompts für LLMs zu schreiben, sowie die Kompetenz zum Refactoring.

Ich denke, dass diese Fähigkeiten wichtig werden.

[alucard]

Das Problem liegt doch nicht an der AI, sondern daran, dass die bisherigen Interviewaufgaben ein so schlampiges Format hatten nach dem Motto: Finde die optimale Antwort, dann ist alles okay. Ist nicht einfach jetzt nur dieses Problem sichtbar geworden? Im echten Arbeitsalltag wird man AI schließlich auch einsetzen, also warum sollte man das einschränken? Haha. Unabhängig davon, welche Mittel verwendet wurden: Hauptsache, am Ende kommt ein Output heraus. Allerdings muss dann transparent bewertet werden, wie diese Mittel eingesetzt wurden.

[jamsya]

Da stimme ich zu. Mit dem Aufkommen von AI werden unsinnige Coding-Tests, die wenig mit der tatsächlichen Praxis zu tun haben, ganz natürlich vom Markt verschwinden, und Unternehmen, die bessere Einstellungsverfahren nutzen, werden sich die guten Talente sichern.
Ein interessanter Kampf zwischen Speer und Schild.

[xguru]

Leetcode-Interview-Cheating-Programm
Passt gut als Beispiel für den in diesem Artikel beschriebenen Fall von AI-Cheating in technischen Interviews.

[GN⁺]

Hacker-News-Meinungen

• Die besten Interviewprozesse umfassten Pair Programming mit Teammitgliedern und Telefoninterviews. Innerhalb weniger Minuten ließ sich erkennen, ob ein Bewerber gut arbeiten konnte, und dieser Prozess stellte in über 20 Jahren Berufserfahrung die produktivsten Teams zusammen.

  • Das Problem ist der Bedarf an skalierbaren Prozessen und hohem Durchsatz, der große Teile der Softwarekultur ruiniert hat.
  • Die Denkweise „Wir müssen Hunderte von Kandidaten abfertigen, und die Metriken des Prozesses sind wichtiger als das Ergebnis“ ist das eigentliche Problem.

• Code-Reviews sind als Bewertungsinstrument sehr nützlich.

  • Es ist wichtig, Bewerber Code reviewen zu lassen.
  • Junior-, Mid-, Senior- und Staff-Entwickler sehen in derselben Codebasis sehr unterschiedliche Dinge.
  • Da von KI generierter Code alltäglich wird, ist es wichtig, Entwickler auszuwählen, die Qualität und Korrektheit von Code effizient prüfen können.
  • Es gab die Erfahrung mit einem Interview bei einem YC-Unternehmen, bei dem die erste Runde aus einem Code-Review bestand, was schließlich dazu führte, eine Open-Source-App zu entwickeln.

• Um 2005 wurde bei einem SME Whiteboard-Coding verlangt, aber es durfte kein Computer benutzt werden.

  • Auf die Frage, warum ein Whiteboard verwendet werde, lautete die Antwort, man ahme Googles Best Practices nach.
  • Am Ende wurde trotzdem am Whiteboard programmiert, aber es wurde gesagt, dass man dazu bereit wäre, wenn ein Computer gestellt würde.
  • Am Ende ging man woanders hin.

• Unternehmen A sollte sich fragen, warum es nicht einfach die KI einstellt, wenn KI ohnehin alle Fragen im technischen Interview lösen kann.

  • Möglicherweise braucht es Ingenieure, die beurteilen können, ob ein Feature umsetzbar ist, und im Interview kann man Kandidaten bitten, über Beispielanforderungen für ein Feature nachzudenken.
  • Oft ist es so, dass Unternehmen den Wert von Ingenieuren selbst nicht klar verstehen und deshalb den Wert von Kandidaten schwer einschätzen können.

• Als KI-vermeidende Einstellungstechnik werden Junior-Entwickler gebeten, Code mitzubringen und ihn zu erklären.

  • Es wird besprochen, was sie ändern würden, wie sie es ändern würden und ob sie Muster verwendet haben.
  • Senior-Entwicklern wird komplexer Code gegeben, den sie in Echtzeit analysieren sollen.
  • Es ist in Ordnung, KI zu nutzen, um alltägliche Aufgaben zu verkürzen, aber man muss die Ergebnisse kritisch hinterfragen können.

• Als Interviewer wird in Unternehmen außerhalb von FAANG ein einfacher Interviewprozess verwendet.

  • Es wird nach dem Lebenslauf, den Erwartungen und den Fähigkeiten des Kandidaten gefragt, und es wird darum gebeten, selbst geschriebenen Code zu zeigen.
  • Dieser Prozess ist schnell und effektiv.

• Der aktuelle Arbeitsmarkt ist chaotisch, daher dürfte es schwierig bleiben, einen Job zu finden, bis man gegen eine Wand läuft.

  • Es gibt 26 Jahre Berufserfahrung, aber man ist nicht perfekt, und Täuschungsversuche funktionieren nicht besonders gut.

• Der Einsatz von Leetcode-Problemen auf mittlerem oder hohem Niveau für 30–45 Minuten im Interview bringt nur zwei Arten von Menschen zum Vorschein.

  • Menschen, die ein Problem von Grund auf angehen, und Menschen, die die Lösung bereits kennen.
  • Wenn man Kadane’s Algorithmus nicht kennt, ist das gleichbedeutend damit, das Problem von Grund auf anzugehen.
  • Die optimale Interviewmethode ist nicht bekannt, aber es gibt persönlich einen bevorzugten Stil.
  • Interviewfragen sollten Testfälle haben, schrittweise komplexer werden, sich auf Datenstrukturen konzentrieren und dem Kandidaten Gelegenheit geben, Kompromisse einzugehen und Entscheidungen zu treffen.

• Das Problem ist nicht KI, sondern dass Unternehmen nicht wissen, wie sie Kandidaten angemessen auswählen.

  • Nicht einmal die Grundlagen der Psychometrie werden angewendet.
  • Der beste Auswahlprozess wäre, neue Leute tatsächlich ein paar Wochen lang die Arbeit machen zu lassen.

• Im letzten Interview wurde darum gebeten, Aufgaben mit Werkzeugen einschließlich KI zu erledigen.

  • In Live-Coding-Interviews wurde ein ähnlicher Prozess durchlaufen.
  • Werkzeuge zu nutzen, um Fähigkeiten und gute Praktiken zu überprüfen, ist die naheliegende Wahl.