Parameter-efficient fine-tuning of Gemma-3 for financial sentiment analysis

Аннотация

Оптимизация параметров Gemma-3 для анализа финансовых настроений

Гардашова Л. А., Гасымов А. Э. 

Анализ финансовых настроений играет центральную роль в мониторинге рынка и оценке рисков, однако многие современные подходы основаны на полной тонкой настройке больших языковых моделей с высокими вычислительными затратами. В данной работе мы рассматриваем ресурсоэффективную альтернативу, применяя адаптацию низкого ранга (LoRA) к модели Gemma-3 с 270 миллионами параметров и оценивая ее производительность на наборе данных FinancialPhraseBank (все согласны). Несмотря на свой компактный размер, модель, настроенная с помощью LoRA, достигает точности 0,9536, макро-F1-показателя 0,9362 и взвешенного F1-показателя 0,9533, что явно превосходит базовый показатель анализа финансовых настроений Gemma-7B, представленный Мо и др., и остается конкурентоспособной по сравнению с опубликованными системами в стиле FinBERT на том же эталонном наборе данных. Дополнительный анализ показывает стабильную производительность по всем классам настроений, макро-ROC-AUC 0,997, хорошие оценки достоверности и стабильную калибровку. С практической точки зрения, параметрически эффективная конфигурация существенно сокращает использование памяти и количество обучаемых параметров, что позволяет эффективно адаптировать модель к предметной области на широко доступном оборудовании. Эти результаты показывают, что высококачественная классификация финансовых настроений не требует полной тонкой настройки моделей с миллиардами параметров, и что компактные модели в сочетании с параметрически эффективными методами обеспечивают привлекательный баланс между точностью, эффективностью и удобством внедрения.