Что произошло
Обычно в руководствах по QLoRA рекомендуется начинать с learning rate 2e-4. Однако эта рекомендация может вводить в заблуждение тех, кто работает с малыми наборами данных, обычно в диапазоне от 5,000 до 10,000 образцов. Тонкая настройка с таким значением на ограниченных данных часто приводит к переобучению, когда модель показывает хорошие результаты на обучающих данных, но плохо справляется с оценочными метриками.
Почему это важно
Эта проблема значима, поскольку многие практики полагаются на стандартный learning rate, не учитывая размер своих наборов данных. При использовании 2e-4 для малых наборов данных пользователи могут наблюдать снижение обучения потерь, в то время как потери на оценке остаются неизменными или ухудшаются. Это приводит к напрасной трате времени и усилий, вызывая разочарование, так как люди могут ошибочно обвинять качество своих данных или другие факторы в плохих результатах.
Контекст
Learning rate 2e-4 возник из исследований, связанных с более крупными наборами данных, такими как Alpaca, который содержит 52,000 образцов. Предполагается, что эта скорость хорошо работает в больших масштабах, но не было документировано, как она переносится на меньшие наборы данных. Многие руководства и документация, включая материалы от Unsloth, предлагают 2e-4 как "начальную точку", но не подчеркивают необходимость корректировки в зависимости от размера набора данных.
Что это значит
Практикам следует пересмотреть стандартный learning rate 2e-4 при тонкой настройке моделей на малых наборах данных. Learning rate 1e-4 или ниже в сочетании с увеличением количества эпох может дать лучшие результаты. Эта простая корректировка может привести к значительным улучшениям в оценочных метриках, как показывают анекдотические примеры пользователей, которые успешно изменили свои значения. Если существуют исследования, поддерживающие фиксированную скорость 2e-4 для малых наборов данных, они остаются в значительной степени необнаруженными, оставляя многих в сложной ситуации с их моделями.
