Drag-and-Drop LLMs: Zero-Shot Prompt-to-Weights
Drag-and-Drop LLMs: Преобразование запросов в веса без обучения В данной статье представлена модель Drag-and-Drop LLMs (DnD), новый подход к адаптации больших языковых моделей (LLMs) без обучения для каждой задачи. DnD использует генератор параметров, обусловленный запросами, для преобразования немаркированных запросов задач непосредственно в обновления весов LoRA. Текстовый кодировщик преобразует запросы в условные вложения, которые затем преобразуются в матрицы LoRA. DnD значительно снижает накладные расходы на адаптацию по сравнению с полной дообучением. Он достигает прироста производительности в рассуждениях здравого смысла, математике, кодировании и многомодальных задачах. Метод демонстрирует надежное обобщение между доменами, не видя целевых данных или меток. Исследование предлагает новую парадигму адаптации LLM, делая веса генеративной целью, обусловленной дескрипторами задач. #LLM #ЭффективнаяТонкаяНастройкаПараметров #LoRA #ОбучениеБезПримеров #ОбуславливаниеЗапросами #Гиперсети #ИИ #МашинноеОбучение #NLP документ - https://arxiv.org/pdf/2506.16406v1 подписаться - https://t.me/arxivdotorg отправить донаты: USDT: 0xAA7B976c6A9A7ccC97A3B55B7fb353b6Cc8D1ef7 BTC: bc1q8972egrt38f5ye5klv3yye0996k2jjsz2zthpr ETH: 0xAA7B976c6A9A7ccC97A3B55B7fb353b6Cc8D1ef7 SOL: DXnz1nd6oVm7evDJk25Z2wFSstEH8mcA1dzWDCVjUj9e создано с помощью NotebookLM
Drag-and-Drop LLMs: Преобразование запросов в веса без обучения В данной статье представлена модель Drag-and-Drop LLMs (DnD), новый подход к адаптации больших языковых моделей (LLMs) без обучения для каждой задачи. DnD использует генератор параметров, обусловленный запросами, для преобразования немаркированных запросов задач непосредственно в обновления весов LoRA. Текстовый кодировщик преобразует запросы в условные вложения, которые затем преобразуются в матрицы LoRA. DnD значительно снижает накладные расходы на адаптацию по сравнению с полной дообучением. Он достигает прироста производительности в рассуждениях здравого смысла, математике, кодировании и многомодальных задачах. Метод демонстрирует надежное обобщение между доменами, не видя целевых данных или меток. Исследование предлагает новую парадигму адаптации LLM, делая веса генеративной целью, обусловленной дескрипторами задач. #LLM #ЭффективнаяТонкаяНастройкаПараметров #LoRA #ОбучениеБезПримеров #ОбуславливаниеЗапросами #Гиперсети #ИИ #МашинноеОбучение #NLP документ - https://arxiv.org/pdf/2506.16406v1 подписаться - https://t.me/arxivdotorg отправить донаты: USDT: 0xAA7B976c6A9A7ccC97A3B55B7fb353b6Cc8D1ef7 BTC: bc1q8972egrt38f5ye5klv3yye0996k2jjsz2zthpr ETH: 0xAA7B976c6A9A7ccC97A3B55B7fb353b6Cc8D1ef7 SOL: DXnz1nd6oVm7evDJk25Z2wFSstEH8mcA1dzWDCVjUj9e создано с помощью NotebookLM