Spiking Brain-inspired Large Models

Большие модели, вдохновленные спайковым мозгом В данном документе представлена SpikingBrain, семейство больших языковых моделей (LLM), вдохновленных принципами работы мозга, разработанных для решения проблем эффективности LLM на основе Transformer. Модели ориентированы на эффективное обучение и вывод в длинном контексте, с использованием кластера MetaX1GPU. SpikingBrain использует линейные и гибридно-линейные архитектуры внимания с адаптивными спайковыми нейронами, а также алгоритмические оптимизации, такие как обучение на основе преобразования и специальная структура кодирования спайков. Системная инженерия включает в себя специализированные среды обучения, библиотеки операторов и стратегии параллелизма, адаптированные к оборудованию MetaX. В статье представлены SpikingBrain-7B и SpikingBrain-76B, демонстрирующие возможность разработки крупномасштабных LLM на платформах, отличных от NVIDIA. Эти модели достигают сопоставимой производительности с базовыми моделями Transformer при значительно меньших ресурсах данных и повышенной эффективности обучения длинным последовательностям. Исследование изучает потенциал механизмов, вдохновленных мозгом, для продвижения следующего поколения эффективных и масштабируемых больших моделей. #БольшиеЯзыковыеМодели #ВдохновленоМозгом #СпайковыеНейронныеСети #Эффективность #MetaX документ - http://arxiv.org/pdf/2509.05276v1 подписаться - https://t.me/arxivpaperu отправить донаты: USDT: 0xAA7B976c6A9A7ccC97A3B55B7fb353b6Cc8D1ef7 BTC: bc1q8972egrt38f5ye5klv3yye0996k2jjsz2zthpr ETH: 0xAA7B976c6A9A7ccC97A3B55B7fb353b6Cc8D1ef7 SOL: DXnz1nd6oVm7evDJk25Z2wFSstEH8mcA1dzWDCVjUj9e создано с помощью NotebookLM