В последние годы искусственный интеллект (ИИ) демонстрировал впечатляющие успехи, особенно в области больших языковых моделей (LLM). Однако недавние исследования и мнения экспертов указывают на возможное замедление прогресса в этой сфере.
Согласно отчету The Information, внутри компании OpenAI возникли опасения относительно следующей модели, известной под кодовым названием Orion. Некоторые исследователи отмечают, что прирост производительности Orion может быть менее значительным по сравнению с переходом от GPT-3 к GPT-4. Более того, на определенных задачах новая модель может не превосходить своего предшественника.
Илья Суцкевер, сооснователь OpenAI, в интервью Reuters подчеркнул, что эпоха масштабирования, когда увеличение вычислительных ресурсов и данных приводило к значительным улучшениям, возможно, подходит к концу. Он отметил: "Теперь мы снова в эпохе удивления и открытий. Все ищут что-то новое. Масштабирование правильных вещей сейчас важнее, чем когда-либо".
Одной из ключевых проблем является ограниченность качественных текстовых данных для обучения LLM. Исследовательская группа Epoch AI в своем докладе оценила, что существующие запасы общедоступного текста могут быть полностью исчерпаны для обучения моделей между 2026 и 2032 годами. Это означает, что простое увеличение объема данных больше не будет эффективным методом улучшения моделей.
В ответ на эту проблему компании, включая OpenAI, начали использовать синтетические данные, созданные другими моделями, для обучения. Однако возникает вопрос о качестве таких данных и риске "коллапса модели" при многократном использовании искусственно созданной информации.
Альтернативным подходом является улучшение способностей моделей к рассуждению, а не просто накопление знаний. Однако недавние исследования показывают, что даже передовые модели могут быть легко введены в заблуждение ложными данными. Другие исследователи изучают методы дистилляции знаний, при которых большие "учительские" сети обучают "студенческие" сети более качественной информации.
Если текущие методы обучения LLM действительно достигают своего предела, индустрия ИИ может столкнуться с необходимостью поиска новых подходов и технологий для дальнейшего прогресса. Это может включать разработку новых архитектур, улучшение алгоритмов обучения и поиск альтернативных источников данных.
В целом, хотя ИИ достиг значительных высот, текущие вызовы подчеркивают необходимость инноваций и адаптации в подходах к его развитию. Будущее ИИ будет зависеть от способности исследователей и инженеров преодолевать эти препятствия и находить новые пути для достижения более высоких уровней интеллекта и функциональности.
