Defeating the Training-Inference Mismatch via FP16

Устранение несоответствия между обучением и инференсом с помощью FP16 В данной статье рассматривается проблема нестабильности при тонкой настройке больших языковых моделей (LLM) с помощью обучения с подкреплением (RL), вызванной несоответствием между политиками обучения и инференса. Авторы утверждают, что основная причина заключается в точности чисел с плавающей запятой, в частности, в использовании BF16, которое вносит ошибки округления. В качестве простого решения для устранения этого несоответствия предлагается вернуться к FP16. Переход на FP16 улучшает числовую точность и снижает чувствительность к различиям в реализации. Этот подход повышает стабильность оптимизации, ускоряет сходимость и улучшает производительность в различных задачах, алгоритмах и фреймворках. Результаты указывают на необходимость пересмотра компромиссов в отношении точности при тонкой настройке RL. Предлагаемое изменение требует минимальных изменений в коде и не требует изменений в архитектуре модели или алгоритме обучения. Авторы эмпирически показывают, что FP16 значительно повышает производительность и стабильность по сравнению с BF16 при выравнивании LLM на основе RL. Решение является эффективным и универсально применимым к критически важной задаче выравнивания LLM на основе RL. #ОбучениеСПодкреплением #LLM #FP16 #BF16 #НесоответствиеОбученияИнференса #ТонкаяНастройка #ЧисленнаяТочность документ - http://arxiv.org/pdf/2510.26788v1 подписаться - https://t.me/arxivpaperu отправить донаты: USDT: 0xAA7B976c6A9A7ccC97A3B55B7fb353b6Cc8D1ef7 BTC: bc1q8972egrt38f5ye5klv3yye0996k2jjsz2zthpr ETH: 0xAA7B976c6A9A7ccC97A3B55B7fb353b6Cc8D1ef7 SOL: DXnz1nd6oVm7evDJk25Z2wFSstEH8mcA1dzWDCVjUj9e создано с помощью NotebookLM