Xiaomi betritt die KI-Welt mit MiMo 7B: Ein Monster, das OpenAI schlägt

Xiaomi hat mit der Freigabe seines ersten spezialisierten Denkmodells, Xiaomi MiMo, einen großen Sprung im Bereich der künstlichen Intelligenz gemacht. Dieses historische Modell mit 7B-Parametern hat bereits das Wasser im Bereich der künstlichen Intelligenz aufgewirbelt, indem es wesentlich größere Konkurrenten wie das quelloffene o1-mini-Modell von OpenAI und das größere QwQ-Preview-Modell von Alibaba mit 32B-Parametern überholt hat. Das Modell ist ein großer Erfolg für das neu gegründete Big Model Core Team von Xiaomi und ein Beweis dafür, dass sich das Unternehmen zunehmend darauf konzentriert, die KI-Fähigkeiten von der Hardware auf die innovative Softwareentwicklung zu übertragen.

Benchmarking mit innovativem Reasoning

Was MiMo so bemerkenswert macht, ist seine hohe Leistung bei schwierigen Reasoning-Tests im Vergleich zu seiner relativ geringen Größe. Bei öffentlich zugänglichen Tests zum mathematischen Denken (AIME 24-25) und Code-Wettbewerben (LiveCodeBench v5) schlug das 7B-Parameter-Modell Konkurrenten mit wesentlich höheren Parametergrößen.

Die Entwicklungsgruppe führt ihren Erfolg auf ihre innovative, zweigleisige Strategie zurück:

Innovationen vor dem Training

• Reichhaltiger Reasoning Corpus: Der Schwerpunkt liegt auf der Gewinnung umfangreicher Informationen über das Denken
• Synthetische Anreicherung: Generierung von ca. 200B Token von Argumentationsdaten auf Expertenebene
• Progressives Schwierigkeitstraining: Drei separate Phasen mit steigendem Schwierigkeitsgrad der Implementierung
• Umfassendes Training: Gesamttraining über 25T Token

Durchbrüche nach dem Training

Die Entwicklung von MiMo endete nicht mit dem Pre-Training. Die Innovationen des Forschungsteams nach dem Training haben die Fähigkeiten des Modells weiter verbessert:

1. Test Difficulty Driven Reward: Eine innovative Methode zur Bewältigung der spärlichen Belohnungen bei komplexen algorithmischen Aufgaben
2. Einfaches Re-Sampling der Daten: Anwendung von Methoden zur Stabilisierung des Trainings von Reinforcement Learning
3. Nahtloses Rollout-System: Ein effizienzorientiertes System, das das RL-Training um das 2,29-fache und die Verifikation um das 1,96-fache beschleunigt hat

Was dies für Xiaomis Zukunft in der KI bedeutet

Mit der Einführung von MiMo wird Xiaomi ernsthaft in den Bereich der KI einsteigen. Während Xiaomi seine Glaubwürdigkeit durch Hardware-Innovationen untermauert hat, deutet dieser Schritt auf einen strategischen Wechsel hin zu Spitzenforschung und -entwicklung im Bereich KI hin. Indem Xiaomi das Modell selbst als Open Source zur Verfügung stellt, macht es sich auch die offene und kollektive Natur der KI-Innovation zu eigen und beschleunigt damit möglicherweise die Innovation in der Branche.

Entwickler/innen und KI-Enthusiasten, die mit MiMo experimentieren oder Erweiterungen für MiMo erstellen möchten, können das Modell zusammen mit einer ausführlichen technischen Dokumentation in Xiaomis Hugging Face Repository erwerben.

Quelle: Hugging Face, GitHub

HyperOS Downloader Easily check if your phone is eligible for HyperOS 2.0 update!