В современной медицине доступ к актуальной информации может сыграть решающую роль. Это именно то, что делает Meditron: набор открытых мультимодальных базовых моделей, созданных для медицинского сектора на базе Meta Llama 2. Meditron предназначен для поддержки принятия клинических решений и диагностики, обучен на тщательно подобранных, высококачественных медицинских данных с непрерывным вводом. от клиницистов и ученых-гуманитариев.
Исследователи из Школы компьютерных и коммуникационных наук EPFL и Йельской медицинской школы работали над разработкой проекта с гуманитарными организациями, такими как Международный комитет Красного Креста. За первые месяцы после выпуска Meditron был скачан более 30 000 раз, что заполнило значительный инновационный пробел для организаций здравоохранения с ограниченными ресурсами.
После недавнего выпуска Meta Llama 3 команда в течение 24 часов модифицировала новую модель 8B, создав Llama-3.[8B]-MeditronV1.0, который превосходит все существующие открытые модели в своем классе по стандартным тестам, таким как MedQA и MedMCQA.
«Основные модели стали современным интеллектуальным и культурным достоянием», — сказала профессор Йельской школы Мэри Энн Хартли, соруководитель проекта. «При использовании в медицинской сфере они могут дать жизненно важные советы и рекомендации. Это особенно важно для регионов, которые наименее представлены и нуждаются в поддержке».
LLM, такие как Llama, имеют возможность упростить сложную информацию в доступном консультативном интерфейсе. Meditron был адаптирован для лучшего согласования предоставляемой информации с доказательной медициной, контекстуально-ориентированными рекомендациями и профессиональными стандартами. Набор инструментов Meditron может удовлетворить важные потребности в различных ситуациях, включая чрезвычайные ситуации, требующие быстрого и точного медицинского реагирования, и может помочь медицинским работникам диагностировать и лечить пациентов в недостаточно обслуживаемых районах.
«Мы надеемся, что полностью открытый и свободный доступ к данным в любом масштабе, а также четкая документация о том, как начать, смогут стимулировать инновации в средах с ограниченными ресурсами, обеспечивая равный доступ к медицинским знаниям», — говорит Хартли.
Когда финансирование становится проблемой, начните с малого и сосредоточьтесь на качестве. Экономия средств, начало экспериментов с меньшей моделью Llama 2 7B для определения оптимальных сочетаний предварительных данных и параметров для масштабирования до 70B – этот консервативный подход также является причиной выпуска моделей Meditron 7B и 70B. Хотя Meditron 7B менее мощный, он по-прежнему очень полезен для экспериментального масштабного моделирования, отмечает Хартли.
Такой акцент на качестве, а не на количестве также означал, что команда потратила большую часть своего времени на тщательную разработку медицинских текстовых документов, в которых были представлены научно обоснованные рекомендации в условиях высоких и низких ресурсов. По словам Хартли, непрерывное предварительное обучение, которое обновляет все параметры модели, а не просто сосредотачивается на настройке, сводит к минимуму риск загрязнения и систематической ошибки в общем текстовом корпусе, на котором обучалась Лама. Это также позволило максимально сохранить медицинские знания.
Поскольку обширное предварительное обучение работе с многопроцессорными многоузловыми кластерами является технически очень сложной задачей, команда интегрировала архитектуру Llama в мощный распределенный симулятор Megatron-LM. Понимая, что это проблема, с которой могут столкнуться многие другие, они также предоставили модифицированную версию Мегатрона.
Meditron уже доказала свою высокую эффективность в ведущих отраслевых тестах, таких как биомедицинские исследования, и команда надеется, что финансирующие агентства признают социальную и коммерческую ценность их открытой академической инициативы.
«Открытые технологии имеют проверенную историю стимулирования инноваций и, что особенно важно, обеспечения их доступности на равных условиях», — говорит Хартли. «Мы постоянно слышим от исследователей из стран с ограниченными ресурсами о том, как компания Meditron облегчила их исследования».
Источник: Новости искусственного интеллекта