К основному контенту

MLPerf – первый тест для проверки искусственного интеллекта

MLPerf – первый тест для проверки искусственного интеллекта

Каждый «новорожденный» искусственный интеллект (ИИ) представляется рынку его создателями как самый-самый умный. И ни подтвердить их похвальбы, ни опровергнуть даже теоретически невозможно, поскольку до сих нет средств анализа «умственных способностей» ИИ. Производительность суперкомпьютеров определяют с помощью тестов LinPack, массовых десктопов - 3DMark, а вот для компьютерных систем ИИ до сих пор не был создан специализированный «экзаменатор», позволяющий адекватно оценить способности конкретной модели ИИ и, тем самым, обеспечить сравнение ее «интеллекта» (IQ) с аналогичными по функциональности продуктами.


Первопроходцами в сфере разработки тестов для ИИ стали специалисты главного китайского поисковика Baidu, которые пару лет назад разработали систему DeepBench, осуществляющую тестирование ИИ на близких к аппаратному уровнях. И вот недавно создана группа, в которую вошли разработчики Baidu и Google, ученые Гарвардского и Стэнфордского университетов, программисты AMD, Intel, а также двух американских фирм - SambaNova Systems и Wave Computing, Inc., известных на мировом рынке своими разработками в сфере систем искусственного интеллекта.



Первым достижением этой группы стал MLPerf – это прототип программного комплекса, предназначенный для оценки IQ способностей ИИ, которой планируется подвести к фазе тестирования осенью текущего года. MLPerf будет проверять «умственные характеристики» ИИ на уровне отдельных приложений, ориентированных на конкретные задачи. Возможности первой версии MLPerf ограничены измерениями времени, которое требуется ИИ для обучения до минимального качественного уровня. При этом качественный уровень определяется самой системой, что потребует для ее работы вычислительные мощности, превосходящие вычислительные мощности тестируемых систем. В качестве единицы отсчета (своеобразного эталона) в системе MLPerf будут использоваться характеристики производительности чипа Nvidia P100 Volta, широко распространенного в настоящее время в системах глубинного машинного обучения.

В последующих версиях теста MLPerf разработчики планируют использование двух подходов - коммерческого и общедоступного:
  1. определение моделей объектов, структур данных и ограничений пределов изменения значений для получения наиболее достоверных результатов тестирования (этот подход будет доступен только коммерческим пользователям),
  2. экспериментирование с самыми различными видами реализации систем ИИ минимальном количестве ограничений (общедоступный подход, ориентированный на разработчиков ИИ).

См. также:

Комментарии

Популярные сообщения из этого блога

Кофемашина Krups KP 1002 (1006/1009) Nescafe Dolce Gusto не качает воду. Ремонт своими руками!

На днях случилось так, что моя капсульная кофемашина Krups KP 1002 (1006/1009) ( описание кофемашины ), продающаяся у нас под брендом Nescafe Dolce Gusto перестала работать. Поломка выражалась в том, что машина не качала воду из резервуара и, соответственно, не наливала кофе. Характерной деталью этой поломки был также изменившийся звук ее работы. Вместо привычного громкого шумного наливания кофе, кофемашина еле-еле бурчала. Да, и еще - не задолго до этого кофеварка также стала подтекать.

Цены на услуги хакеров. Почем сегодня стоит взлом?

В преступном мире всегда были, есть и будут разработчики воровских, мошеннических и разбойных схем и организаторы их воплощения – своего рода «белые воротнички», не связывающиеся с «кровью и грязью», которые зачастую сопутствуют темным делам исполнителей грабежей.

Скачать Malwarebytes Anti-Malware Free бесплатно на русском языке с официального сайта!

Malwarebytes Anti Malware – это популярная и совершенно бесплатная утилита-антивирус для поиска и удаления с персонального компьютера или ноутбука таких распространенных вредоносных программ, как: руткиты, черви, троянские программы, программы-шпионы (клавиатурные и др.) и др. Для того, чтобы произвести чистку компьютера необходимо запустить программу и запустить в ней сканирование. Программа имеет русскую версию и предельно простой интерфейс для работы. Программа уже много лет пользуется заслуженной любовью и доверием пользователей во всем мире. Она также имеет высокие оценки известных международных изданий, таких как: AV TEST, PCMAG, CNET, а также сертифицирована ведущей в мире независимой тестовой лабораторией West Coast Labs. Возможности бесплатной версии Базовых функций бесплатной версии программы вполне достаточно, быть уверенным в надежной защите своего ПК. обнаружение и удаление вредоносных программ, которые мог пропустить антивирус; удаление