Исследователи создали простой инструмент, который помогает специалистам по ИИ находить нужные данные. Это повышает точность и уменьшает погрешность модели. Для обучения мощных больших языковых моделей исследователи используют обширные коллекции данных из тысяч веб-источников. Но при объединении этих наборов данных информация об их происхождении часто теряется или путается. Из-за этого могут возникнуть проблемы юридического и этического характера, а также ухудшиться производительность модели. Например, если набор данных неправильно классифицирован, то человек может использовать для обучения модели неподходящие данные. Исследователи из Массачусетского технологического института и других университетов проверили более 1800 текстовых наборов данных на популярных хостингах. Оказалось, что более чем в 70% случаев информация об авторах и лицензии отсутствовала, а примерно в половине — содержались ошибки. На основе полученных данных учёные создали инструмент Data Provenance Explorer. Он автоматически формирует понятные отчёты о создателях, источниках, лицензиях и способах использования наборов данных. Инструменты, подобные Data Provenance Explorer, помогают принимать обоснованные решения о внедрении ИИ и способствуют ответственному развитию этой технологии. Об этом говорит Алекс «Сэнди» Пентланд, профессор Массачусетского технологического института. Data Provenance Explorer помогает специалистам в области ИИ создавать более эффективные модели. Инструмент позволяет выбирать обучающие наборы данных, которые соответствуют назначению модели. Это может повысить точность моделей ИИ в реальных ситуациях, например, при оценке заявок на получение кредитов или ответов на запросы клиентов.
В исследовании также приняли участие Шейн Лонгпре, аспирант Media Lab, Сара Хукер, возглавляющая исследовательскую лабораторию Cohere for AI, а также другие специалисты из разных университетов и компаний. Результаты исследования опубликованы в журнале Nature Machine Intelligence. Фокус на тонкой настройкеИсследователи улучшают возможности языковой модели с помощью техники под названием «тонкая настройка». Они собирают данные, чтобы модель лучше решала конкретную задачу, например, отвечала на вопросы. Исследователи MIT изучают эти наборы данных. Их создают исследователи, академические организации или компании и лицензируют для определённого использования. Когда краудсорсинговые платформы объединяют такие наборы в большие коллекции, часть исходной информации о лицензии теряется. Махари считает, что лицензии должны быть осуществимы и иметь значение.
Чтобы начать исследование, учёные дали определение проверенности данных. Затем они разработали процедуру аудита для отслеживания происхождения данных в более чем 1800 коллекциях текстовых наборов данных из популярных онлайн-репозиториев. Оказалось, что более 70% этих наборов данных содержат «неуказанные» лицензии с неполной информацией. Исследователи заполнили пробелы, и количество таких наборов сократилось примерно до 30%. Также выяснилось, что правильные лицензии часто были более ограничительными, чем указанные в хранилищах. Создатели наборов данных в основном находятся на севере мира, поэтому модель, обученная на этих данных, может быть не применима в других регионах. Например, набор данных по турецкому языку, созданный жителями США и Китая, не содержит культурно значимых аспектов. Исследователи также заметили, что с 2023–2024 годов создатели стали чаще ограничивать использование своих наборов данных. Это может быть связано с опасениями, что данные будут использованы в коммерческих целях. Удобный инструментИсследователи создали Data Provenance Explorer, чтобы помочь людям получить информацию без ручного аудита. Инструмент позволяет сортировать и фильтровать данные по определённым критериям, а также загружать карту достоверности данных для структурированного обзора характеристик набора данных.
В будущем исследователи планируют расширить анализ и изучить происхождение мультимодальных данных, включая видео и речь. Они также хотят исследовать, как условия предоставления услуг на веб-сайтах влияют на наборы данных. Они обращаются к регулирующим органам, чтобы обсудить результаты исследований и их значение для авторского права, связанное с точной настройкой данных.
01.09.2024 |
Net&IT
Rice: Полидактилия и другие странности анатомии от ИИ останутся в прошлом | |
Генеративный искусственный интеллект часто оши... |
IEEE TSP: Низкоорбитальные спутники можно сделать высокопроизводительными | |
Спутники на низкой орбите смогут обеспечи... |
Выпускница ЛЭТИ разработала ПО для подбора сотрудников в соцсетях | |
Приложение на основе нейросети поможет из... |
FBINF: Искать триггеры рака стало проще — на помощь пришел компьютерный алгоритм | |
Компьютерный алгоритм помогает находить генети... |
Разработан метод улучшения изображения, полученного при низкой освещенности | |
С развитием интеллектуальной эры все ... |
Nature Machine Intelligence: Генеративный ИИ берется за прогнозы в онкологии | |
Учёные из университетов Лозанны и Бе... |
Разработчик рассказал, когда искусственный интеллект превзойдет человеческий | |
Аналитик Эйтан Майкл Азофф считает, что л... |
JID: Новый анализ волос с помощью ИИ улучшит исследование здоровья | |
Новое приложение с искусственным интеллек... |
В ЛЭТИ разработали ПО для поисковых и спасательных дронов с компьютерным зрением | |
Учёные разрабатывают ПО, которое позволит дрон... |
В Киберателье УГНТУ создали «умную» одежду для работников нефтегазовой отрасли | |
Куртки с датчиками, изготовленные в ... |
В МТУСИ предложили усовершенствовать процессы SAST | |
Миллионы людей по всему миру ежедневно по... |
Radiology: ChatGPT не справился с интерпретацией радиологических снимков | |
Исследователи выяснили, что ChatGPT-4 Vis... |
Лабораторию цифровых двойников геосистем открыли в СПбГУТ | |
В Санкт-Петербургском университете телекоммуни... |
PNAS: Появилось новое решение одной из 10 самых известных проблем в информатике | |
Когда вы вызываете машину через приложени... |
Nature: Эксперимент провалился — ИИ не способен проводить лабораторные работы | |
Большая языковая модель может многое: читать л... |
IJHCS: Пожилые хуже справляются с простыми задачами на компьютере | |
Исследование показало, что интеллект игра... |
MIT: Данным для обучения больших языковых моделей часто не хватает прозрачности | |
Исследователи создали простой инструмент, кото... |
Раскрыт потенциал связи 6G с помощью нового поляризационного мультиплексора | |
Терагерцовая связь — это новый... |
ИИ помогает контролировать землепользование и пресекать самострой в Москве | |
С начала года в столице с помощью ци... |
Autism: Игра Dungeons & Dragons помогает аутистам обрести уверенность в себе | |
Dungeons and Dragons — популярная р... |
Nature: Лестничные молекулы улучшают проводимость в молекулярных соединениях | |
Размеры электронных устройств становятся всё&n... |
MIT: Создан алгоритм квантового компьютера для взлома криптосистемы RSA | |
Исследователи предлагают новый способ создания... |
Science: ИИ решает одну из самых сложных задач в квантовой химии | |
Учёные из Имперского колледжа Лондона и&n... |
CRPS: Гидрогель научили играть в пинг-понг, и он делает это как живой | |
Команда под руководством доктора Йошикацу... |
European Radiology: ИИ может заменить ординатора, но не опытного врача | |
В радиологии для интерпретации результато... |
Магистрант МАИ обучил нейронную сеть оптимизировать производство | |
Студент МАИ Семён Беляев предложил способ... |
Nature Reviews Materials: В поиске полимера будущего поможет ИИ | |
Нейлон, тефлон, кевлар — это л... |
Цифровой полигон МФТИ ускорит разработку БПЛА в России | |
Сотрудники передовой инженерной школы МФТИ пре... |
За 4 месяца модель ИИ научили исследовать урожайность полей | |
Модель искусственного интеллекта, созданная вы... |
NPJ Digital medicine: Мобильные приложения действительно держат нас в тонусе | |
Мобильные приложения, веб-сайты и текстов... |