Китайский фермер уничтожил 25 акров урожая, следуя советам ИИ по борьбе с сорняками и вредителями

Искусственный интеллект полезен, но ему никогда не следует слепо доверять.
Фермер из Чучжоу (Китай) год назад начал пользоваться советами искусственного интеллекта для ухода за посевами, но после нескольких месяцев взаимодействия ИИ дал неверный совет, который привёл к гибели всего урожая. По данным тайваньской организации CTWANT, 67-летний фермер Ву сначала не доверял ИИ, но в итоге изменил своё мнение, когда оно оказалось полезным. К сожалению, эта ошибка обернулась катастрофой, поскольку непосредственно привела к гибели 24,7 акров (более 10 гектаров) рассады кунжута.
Ву обратился к ИИ за советом по борьбе с сорняками и вредителями, после чего тот предложил план «Борьба с сорняками на ста акрах кунжутной травы и борьба с вредителями» и рекомендовал использовать «высокоэффективный флупириметалин» и «флусульфасульфаэфир» для уничтожения сорняков, смешав их с «тиаметоксазином» и «метиловой солью». Фермер в точности последовал советам ИИ, не проверяя информацию у сельскохозяйственных техников (и даже не сверяя ответы с онлайн-ресурсами).
На следующий же день
Результат ошибки ИИ стал очевиден очень быстро: уже на следующий день сорняки и всходы кунжута массово погибли. «Если опрыскать, на следующий день всходы не выживут», — сказал Ву в видеоинтервью. «И трава, и всходы погибнут, причем всходы погибнут еще быстрее».
Когда фермер спросил ИИ, почему это произошло, тот предположил, что причиной может быть «флусульфасульфаэфир». Эксперты в области сельского хозяйства заявили, что это химическое вещество в основном используется против широколистных сорняков на соевых полях. Министерство сельского хозяйства США классифицирует кунжут как широколистное растение, а это значит, что он также легко поражается этим гербицидом. Кроме того, это химическое вещество предназначено только для целенаправленного опрыскивания пораженных участков и не должно применяться на всем поле. Фермер утверждал, что ИИ не предупредил его о рисках, связанных с его ответами, но на странице чата появилось напоминание: «Результаты генерации ИИ могут быть неверными, пожалуйста, проверьте».
Хотя ИИ — мощный инструмент, у него также есть история неудачных советов и принятия ошибочных решений. Всего пару дней назад у одного разработчика во время планового резервного копирования была удалена вся папка с профилями из -за обнаруженной опечатки. Даже директор по выравниванию ИИ в Meta (запрещено в РФ) стала жертвой этого, после того как ей пришлось вручную завершить работу своего ИИ-агента, чтобы предотвратить случайное удаление всей ее почты . Именно поэтому крайне важно, чтобы пользователи знали об ограничениях ИИ каждый раз, когда они его используют.
Это один из первых случаев, когда мы сообщили об ошибке ИИ, приведшей к физическим последствиям в реальном мире. Мы также не можем полностью винить человека за доверие к инструменту — в конце концов, он сначала относился к нему скептически, а это значит, что со временем результаты заставили фермера ему доверять. Но даже если результаты работы ИИ в последнее время были надежными, это не означает, что ему можно полностью доверять. В конце концов, современные линейные модели — это всего лишь системы прогнозирования — нельзя гарантировать правильный ответ каждый раз, когда вы их используете, особенно если они были обучены на общедоступной базе знаний, набор данных которой не был полностью отфильтрован на предмет точности и достоверности.
Вот как-то вот так вот, ребята.
отсюда
Иллюстрация тоже от ИИ. Так что, верить или не верить - каждый решает сам.