Широкое распространение больших языковых моделей (LLM) в реальных приложениях стало очевидным в последние годы. Однако эти модели обычно ограничены в производительности при выполнении задач более высокого уровня, таких как обучение использованию внешних инструментов вроде API.
Предыдущие работы пытались создать обучающие данные для использования инструментов, но их усилия были затруднены их неспособностью полностью стимулировать возможности использования инструментов. Они также ограничены такими факторами, как узкий диапазон API, ограниченные сценарии и несовершенное планирование и рассуждение.
Чтобы решить эту проблему, в новой статье «ToolLLM: Облегчение овладения большими языковыми моделями 16000+ реальными API» исследовательская группа из Университета Цинхуа, ModelBest Inc., Китайского народного университета, Йельского университета, Tencent Inc. и Zhihu Inc. представляет ToolLLM — общую структуру использования инструментов, демонстрирующую убедительную способность овладевать 16464 реальными RESTful API.
Команда начинает со сбора высококачественного набора данных для настройки инструкций ToolBench, процедура построения которого включает три фазы: 1) Сбор API — команда собрала 16464 REST API из RapidAPI, охватывающих 49 категорий, таких как социальные сети, электронная коммерция и погода. 2) Генерация инструкций: они выборочно отбирали API из всего собранного набора и подсказывали ChatGPT генерировать разнообразные инструкции как для одиночных, так и для многоинструментальных сценариев. 3) Аннотирование пути решения: они аннотировали высококачественные ответы на эти инструкции. И чтобы сделать сбор данных эффективным, они представили новый поиск в глубину на основе дерева решений (DFSDT), чтобы усилить способности планирования и рассуждения LLM.
Далее исследователи доработали LLaMA на ToolBench и получили ToolLLaMA. Они также построили автоматический оценщик ToolEval для доступа к ToolLLaMA. На основе результатов эксперимента команда обнаружила, что ToolLLaMA значительно превосходит традиционный метод использования инструментов, демонстрируя впечатляющие возможности использования инструментов в LLM и его способность овладевать невиданными ранее API.
В целом, эта работа демонстрирует возможности использования инструментов в LLM, и команда считает, что их работа прокладывает путь для исследований на стыке настройки инструкций и использования инструментов для LLM.