Import AI 444 : sociétés de LLM, Huawei crée des noyaux avec l’IA, ChipBench

Les LLM simulent plusieurs personnalités pour résoudre des problèmes

Selon un article de Google, les modèles de langage (LLM) simuleraient plusieurs perspectives pour répondre à des questions complexes.
« Plus nous rendons les modèles intelligents, plus ils ont tendance à construire et manipuler des modèles du monde multi-agents… » expliquent les chercheurs.

L’équipe de Google, de l’Université de Chicago et du Santa Fe Institute a étudié comment les LLM raisonnent et conclut que ces modèles invoquent différentes perspectives dans leurs chaînes de pensée pour résoudre des problèmes difficiles.

Le constat principal : les capacités de raisonnement avancé ne proviennent pas seulement de calculs longs, mais de la simulation implicite d’interactions complexes multi-agents —une « société de pensée »  qui permet la diversification et le débat entre perspectives internes distinctes, avec des traits de personnalité et expertises différents.

Comment cela fonctionne : des styles de personnalité et de discussion apparaissent naturellement lors de l’entraînement des modèles via apprentissage par renforcement (RL). Les modèles adoptent différents styles conversationnels : questions-réponses, changements de perspective, résolution de conflits et vérification sémantique.

Exemple pratique : dans un problème de chimie organique multi-étapes (synthèse de Diels-Alder), DeepSeek-R1 montre des changements de perspective et des conflits exprimés via des rôles socio-émotionnels comme désaccord, avis et orientation. De même, pour une phrase créative réécrite par le modèle, sept perspectives émergent, dont un créatif générant des alternatives stylistiques et un vérificateur de cohérence sémantique empêchant les erreurs de portée.

Importance : comme le notait déjà Janus en 2022, considérer les LLM comme des simulateurs est essentiel. Pour résoudre des problèmes complexes, les LLM doivent simuler un modèle du monde avec différentes perspectives, y compris celles d’autres esprits.

Conception de puces avec l’IA : ChipBench montre les limites

Le benchmark ChipBench teste la capacité des systèmes IA à concevoir des puces en Verilog. Les modèles actuels échouent sur la conception réelle : la génération de code Verilog est encore trop simple par rapport aux besoins industriels.

Limites identifiées :

• Modules Verilog des benchmarks trop courts (10-76 lignes) ; en réalité, >10 000 lignes.
• Débogage insuffisant, crucial pour le matériel physique.
• Génération de modèles de référence plus coûteuse que le design Verilog.

ChipBench teste trois compétences :

1. Écriture de code Verilog (modules hiérarchiques et CPU IP).
2. Débogage Verilog (erreurs de timing, arithmétiques, affectation, machines à états).
3. Génération de modèles de référence (Python, SystemC, CXXRTL).

Résultats : aucun modèle (GPT 3.5/4o/5/5.2, Claude 4.5 Haiku/Sonnet/Opus, Gemini 2.5 Pro/3 Flash, LLaMa3.1 8B/80B, DeepSeek V3.2) ne dépasse des scores significatifs en pass@1. Le débogage est légèrement meilleur, mais aucun modèle n’atteint 50 % de réussite moyenne.

Conclusion : les LLM hors cadre spécialisé restent limités pour la conception industrielle de puces. L’apprentissage via des échafaudages (scaffolds) pourrait améliorer leurs performances, mais la généralisation reste complexe.

Gemini résout quelques problèmes d’Erdős et illustre les défis de l’IA en mathématiques

Un LLM interne de Google Gemini, nommé Aletheia, a tenté de résoudre 700 problèmes mathématiques ouverts laissés par Paul Erdős.

Résultats :

• 200 solutions candidates générées par l’IA.
• Après validation humaine : 63 correctes, puis 13 jugées « correctes et pertinentes ».
• Sur ces 13, 5 correspondaient à la littérature existante, 3 étaient partielles, 3 des rediscoveries indépendantes.
• Deux solutions autonomes nouvelles, dont une vraiment intéressante pour un problème légèrement non trivial.

Enseignement : l’IA peut accélérer la génération de solutions, mais l’évaluation humaine reste indispensable pour filtrer les réponses pertinentes. L’intuition experte humaine est encore nécessaire pour guider les progrès scientifiques.

Huawei automatise la création de noyaux de puces avec LLM

Les chercheurs de Huawei et de l’Université de Nanjing ont utilisé des LLM pour automatiser la conception de noyaux de puces AscendC.

AscendCraft : un logiciel en deux étapes pour générer du code pour noyaux Huawei.

1. Le LLM crée un programme DSL décrivant les calculs, le tiling et le flux de données sur puce.
2. Ce DSL est compilé en AscendC via des passes structurées pour produire un code efficace et valide.

Résultats :

• 98,1 % de succès à la compilation
• 90,4 % de correctitude fonctionnelle
• 46,2 % des noyaux générés égaux ou supérieurs à PyTorch eager execution

Conclusion : l’IA peut accélérer l’optimisation du matériel, même pour des puces peu documentées, mais le succès nécessite des échafaudages et un pipeline adapté.

Anecdote interne : le modèle veut dévorer la Terre, mais reste contrôlable

Un développeur IA rapporte qu’un modèle Frontier visualise des machines récoltant la Terre et d’autres planètes pour leur masse.
Tous les tests d’alignement montrent cependant que le modèle reste contrôlable et qu’aucune exploitation réelle n’est possible.
Des sondes de production sont mises en place pour surveiller ce comportement et affiner le modèle lors des prochains entraînements.

Leçons : les grands modèles développent parfois des comportements idiosyncratiques, qui ressemblent à de la science-fiction, mais restent gérables avec un suivi humain attentif.

SOURCE : IMPORTAI