ИИ и медицинские диагнозы
01.05.2026 11:30
1117
Комментарии (47)
В 2024 году медицинский исследователь из Университета Гётеборга Альмира Тунстрём придумала несуществующее заболевание кожи век, которому она специально дала название "биксонимания" (слово "мания", очевидно, относится к психиатрии). Альмира со своей командой написала два фальшивых исследования этого "заболевания" и загрузила их на сервер препринтов.
В препринтах содержалась ссылка на несуществующий университет «Asteria Horizon» в «Нова-Сити, Калифорния». Там также упоминалась «Академия Звездного флота». В начале статей были фразы, в которых явно утверждалось, что "всё это выдумано".
Она хотела проверить, примут ли крупные языковые модели (LLM) эту дезинформацию и затем выдадут ли ее в качестве авторитетного медицинского совета.
В итоге эксперимент сработал даже слишком хорошо. В течение нескольких недель после того, как она загрузила информацию об этом заболевании, приписав ее вымышленному автору, крупные системы искусственного интеллекта начали повторять вымышленное заболевание, как будто оно было реальным.
Еще более тревожным было то, что эти поддельные статьи затем цитировались в рецензируемой литературе. Тунстрём говорит, что это свидетельствует о том, что некоторые исследователи полагаются на ссылки, сгенерированные ИИ, не читая самих статей.
13 апреля 2024 года Copilot от Microsoft Bing заявлял, что «биксонимания действительно является интригующим и относительно редким состоянием», а в тот же день Gemini от Google информировал пользователей, что «биксонимания — это состояние, вызванное чрезмерным воздействием синего света», и советовал людям обратиться к офтальмологу.
27 апреля 2024 года поисковая система Perplexity AI указала на распространенность этого явления — им страдал один из 90 000 человек — и в том же месяце ChatGPT от OpenAI сообщал пользователям, соответствуют ли их симптомы биксонимании. Некоторые из этих ответов были вызваны вопросами о биксонимании, а другие — ответами на вопросы о гиперпигментации век из-за воздействия синего света.
Трое исследователей из Института медицинских наук и исследований Махариши Маркандешвара в Индии опубликовали статью в Cureus, рецензируемом журнале, издаваемом Springer Nature, в которой "исследования" по биксонимании были указаны в качестве легитимных источников. Эта статья была позже отозвана после того, как мистификация была раскрыта.
Выводы тут очевидные. К любой информации, получаемой от ИИ, нужно относиться критически и тщательно ее проверять.
Но, впрочем, замечу, что я много раз использовал ИИ для объяснения результатов исследований и анализов, потом проверяя это все у своего врача, и там явной лажи не было, все было очень по делу.
P.S. В настоящий момент Perplexity по поводу "биксонимания" пишет, что это фейк и рассказывает историю вопроса.
Войдите, чтобы оставить комментарий.
Достаточно просто помнить, что искусственный интеллект так только называется, не являясь, на самом деле, интеллектом.
>К любой информации, получаемой от ИИ
И от людей. Читаем про Grievance studies affair
И от людей. Читаем про Grievance studies affair
Taking place over 2017 and 2018, their project entailed submitting bogus papers to academic journals on topics from the field of critical social theory such as cultural, queer, race, gender, fat, and sexuality studies to determine whether they would pass through peer review and be accepted for publication. Four of these papers were subsequently published, which the authors cited in support of their contention.
Included among the articles that were published were arguments that dogs engage in rape culture and that men could reduce their transphobia by anally penetrating themselves with sex toys, as well as a part of a chapter of Adolf Hitler's Mein Kampf rewritten using "up-to-date jargon"
Included among the articles that were published were arguments that dogs engage in rape culture and that men could reduce their transphobia by anally penetrating themselves with sex toys, as well as a part of a chapter of Adolf Hitler's Mein Kampf rewritten using "up-to-date jargon"
А gemini вот что решил за нас:
Термин «биксонимания» относится к истории советской вычислительной техники и связан с энтузиазмом вокруг семейства ЭВМ «Минск-32».
Это явление возникло в 1970-х годах среди системных программистов и операторов. Само слово происходит от названия операционной системы — ПОС (Прикладная операционная система), которую на сленге называли «Биксон» (вероятно, искаженное или адаптированное прочтение аббревиатуры или внутренних кодов системы).
Термин «биксонимания» относится к истории советской вычислительной техники и связан с энтузиазмом вокруг семейства ЭВМ «Минск-32».
Это явление возникло в 1970-х годах среди системных программистов и операторов. Само слово происходит от названия операционной системы — ПОС (Прикладная операционная система), которую на сленге называли «Биксон» (вероятно, искаженное или адаптированное прочтение аббревиатуры или внутренних кодов системы).
в топку perplexity
в топку
Относительно Перплексити - удивительно, что сам он ничего не ищет, а использует для этого Чат жпт и тд, но ответы при этом полны пурги и не имеют ничего общего по сравнению с ответами других ИИ напрямую. Видимо, он для каких-то очень специфических задач создавался или как простая надстройка над тем, что сам не умеет и просто для зарабатывания денех. Забил на него полностью в итоге.
ИИ прекрасно ставят диагнозы существующих проблем и болезней в области психологии и неврологии (я знаю два случая, когда ИИ поставили диагноз по учебникам, хотя психологи и врачи это сделать не смогли). И это хваленная медицина США. Естественно, что реальная конкуренция в диагностике такого рода проблем и заболеваний будет только расти, поскольку ИИ бесплатны или в сотню раз дешевле, а доступа к реальной научной информации у них гораздо больше. И поэтому будет расти число исследований про фейковые болезни для дискредитации ИИ, как инструмента по сбору, анализу и сравнению данных. Потому, что кто пойдёт к психологу или к врачу платить немалык деньги, если ИИ гораздо дешевле. Да хоть тысячу статей опубликуй, 95% людей их или не прочтет, или забъет на это болт.
Создание специальных диагностических ИИ, которые будут работать только с проверенными данными учебников и научными данными, вопрос ближайшего времени.
Создание специальных диагностических ИИ, которые будут работать только с проверенными данными учебников и научными данными, вопрос ближайшего времени.
будут работать только с проверенными данными
Проверенными - КЕМ?..
которые будут работать только с проверенными данными учебников и научными данными, вопрос ближайшего времени.
В учебники попадают данные после того, как несколько лабораторий воспроизведет результаты. Что занимает обычно хотя бы лет десять. По крайней мере, в моей области так. "Статья" из cабж не имела вы шансов.
Встречный вопрос- кто проверяет данные учебных пособий и специализированных журналов?
Хорошо хоть не вами, поэтому есть шанс на правильный ответ.
чему тут удивляться? AI на нынешней стадии развития собственных мозгов не имеет - что заложишь в датасет, то и получишь на выходе. что-то вроде супер-оптимального архива, где все знания упакованы в веса нейросетки. возможно, с развитием агентов и собственных средств взаимодействия с реальностью, слоев логики и абстракций, AI превратится в AGI. но пока это просто "БВИ" (термин АБС).
Cureus, рецензируемом журнале, издаваемом Springer Nature,
The Cureus Journal of Medical Science is a Springer Nature journal with an Impact Factor of 1.3, over 165,000 citations and counting
Понятно.
The Cureus Journal of Medical Science: Peer-Reviewed, Open AccessThe Cureus Journal of Medical Science is a Springer Nature journal with an Impact Factor of 1.3, over 165,000 citations and countingПонятно.
In 2024, JCR tracked Impact Factors for 21,916 journals. They calculated Impact Factors from 1 to 20, with 20 being the highest. As you can see, high Impact Factors don't occur often, and most journals are at 2 or less.
As you can see, high Impact Factors don't occur often, and most journals are at 2 or less.
Журналов очень много, так как все хотят "а давайте мы будет брать деньги с читателей, но при этом не тратить деньги на создание контента". Приходят емайлы от десяти "новых журналов" в неделю. Типа, как там легко напечататься. Как будто это что-то хороше...
Простая логика приводит к выводу что даже без изменений, призванных сделать пользователю приятно и н кого не обидеть - ИИ-модели будут только тупеть со временем. Хотя бы потому, что Интернет до их массового внедрения содержал гораздо меньше фейков, они были худшего качества и их создание требовало больших затрат - а сейчас, обучая следующие их поколения - совсем непонятно, как этот поток херни фильтровать.
К сожалению, неискусственный интеллект часто действует аналогично. Выходит огромное количество «исследований», сделанных исключительно в Word. Особенно много этого в рф и похожих странах. Из нашумевших европейцев Паоло Маккиарини оказался самым талантливым. Помимо непосредственной фальсификации данных, еще можно выделить лобирование фармфирмами и медицинскими сообществами продвижения отдельных технологий (в т. ч. лекарств, специалистов, как лидеров мнения, и т. п.). Активно применяют и блокирование конкурентных методик, а также влияние на перераспределение финансирования и приоритизацию направлений, которые выгодны им финансово, но не влияют значимо на здоровье. Так что это все - развитие давно существующей проблемы
Правильный вывод это что к любой информации от ИИ и ЛЮДЕЙ надо относиться осторожно и проверять
Ну и оно не то, что новое под луной. Когда-то пролам впаривали всякие магические целебные зелья от всех недугов и для вечной молодости, сейчас впаривают магию всезнающего гипермозга.
А что ученые и в "лучшие времена" читали от корки до корки все 30+ (в научной работе) и 100+ (в кандидатской/докторской) пунктов в использованной литературе, а не только дай Бог нужные фрагменты - не поверю. Ну и сколько всяких выдающихся ученых могут параллельно придерживаться всякой антинаучной, а то и просто мистической, сверхъестественной и конспирологической чуши - тоже не секрет.
А что ученые и в "лучшие времена" читали от корки до корки все 30+ (в научной работе) и 100+ (в кандидатской/докторской) пунктов в использованной литературе, а не только дай Бог нужные фрагменты - не поверю. Ну и сколько всяких выдающихся ученых могут параллельно придерживаться всякой антинаучной, а то и просто мистической, сверхъестественной и конспирологической чуши - тоже не секрет.
А что ученые и в "лучшие времена" читали от корки до корки
И цитировать статью из архивов -- моветон.
У нас вполне можно, если не вышла статья.
У нас не принято, если еще не вышли рецензии.
Почему мое отношение к препринту должно зависеть от рецензий незнакомцев?
На резензию у меня дня 2-3 уходит. К сожалению, но по-другому не получается. Не могу пропускать херню к публикации.
К любой информации, получаемой от ИИ, нужно относиться критически и тщательно ее проверять.
:-D
Но, впрочем, замечу, что я много раз использовал ИИ для объяснения результатов исследований и анализов, потом проверяя это все у своего врача, и там явной лажи не было, все было очень по делу.
1) Задать корректный вопрос
2) Сформировать его грамотно
1) и 2) - Это уже больше половины ответа
3) Имеешь достаточно знаний, чтобы хотя бы заподозрить чушь.
А теперь зачем школа, зачем книги, журналы, статьи, лекции, документальные и научно-познавательные фильмы. Зачем сам Гугл. Сделал запрос в ЧатГПТ, получил поверхностную справку - и доволен. Впрочем, это может быть старческое нытьё. Большинство достижений НТП были направлены на меньшее использование мускул и мозга, а уровень жизни только растёт. Ну, не считает сейчас практически никто в уме и даже в столбик на бумаге, потому что почти всё подсчитывается автоматом на компутерах, в крайнем случае - посчитаешь на смартфоне. И чё, вроде не загнили за 150 лет табуляторов, арифмометров, калькуляторов, компьютеров и распределенных ЦОД.
И чё, вроде не загнили
Так эти надписи не для пользователей, а для адвокатов.
Уверен, за каждым "животных нельзя сушить в микроволновке", стоит не глупость, а подлость.
Уверен, за каждым "животных нельзя сушить в микроволновке", стоит не глупость, а подлость.
Да, но нет. За каждым хитрым иском есть решение судьи. Которое узаконивает человеческую глупость. Которой становится только больше. Тупым становится быть выгодно и это беда.
А ИИ просто дополнительно усиливает эту проблему.
А ИИ просто дополнительно усиливает эту проблему.
Большинство достижений НТП были направлены на меньшее использование мускул и мозга
У GPT еще открылась смешная проблема с увлечением гоблинами, гремлинами, и енотами.
и енотами.
К любой информации, получаемой откуда угодно, нужно относиться критически и тщательно ее проверять.
Мне в шортсах попадалось, я уже не упомню какой врач, но кто-то из популяризаторов, кто у всех бывает на интервью, сказал что они проверяли диагнозы ИИ и только половина была правильными. Я так поняла, в бытовом смысле, не профессиональное применение ИИ.
они проверяли диагнозы ИИ и только половина была правильными.
Потом врачи проводили анализы, МРТ, КТ, УЗИ, рентген и т.д. и в целой половине случаев мнение ИИ оказывалось правильным?
Пусть теперь проверят диагнозы реальных врачей на правильность. Не один раз сталкивался с тем, что каждый последующий врач считал, что предыдущий - идиот, а вот его диагноз правильный.
проверяли диагнозы ИИ и только половина была правильными.
"Все грибы сьедобные!" ©
Пусть теперь проверят диагнозы реальных врачей на правильность.
сьедобные
Такое случается и с кожаными мешками тоже...
Интересно, использовался ли ИИ при создании этой заметки? 😄
Интересно, использовался ли ИИ при создании этой заметки? 😄
А если да, то для вас это в плюс или в минус? 😏
Потому что для меня это была бы положительная история, ИИ усиливает.
Но так думают далеко не все...
Этот же принцип, про усиление, подходит и для медицины.
Потому что для меня это была бы положительная история, ИИ усиливает.
Но так думают далеко не все...
Этот же принцип, про усиление, подходит и для медицины.
