Еще о достоверности данных и ИИ

[kot_kam]

Вот человек мне в комментах пишет:

"В области естественных наук всё хорошо: никто не пьет "непроверенные" лекарства (кроме любителей гомеопатии) и не принимает на веру невоспроизводимые данные. В естественных науках как раз наработан навык проверки..." etc.

Это все так, как должно быть. По идее. В идеале. Вся современная наука выстроена на том, что мы по умолчанию предполагаем, что экспериментатор добросовестен и эксперимент воспроизводим (насколько условия эксперимента это позволяют, понятно, что все люди разные - но именно поэтому медицинские эксперименты ставятся не на одном человеке, а на выборке, с максимально возможным учетом особенностей участников эксперимента). А на самом деле? Какой процент чужих экспериментов перепроверяется? Учитывая, что экспериментов этих тысячи, и проводить свои эксперименты всяко выгодней и интересней, чем воспроизводить чужие? (Я уже не говорю о том, сколько стоит воспроизвести чужой эксперимент такого рода). Я так понимаю (поправьте меня, пожалуйста, если я неправ, потому что это уж точно не моя сфера), подавляющее большинство чужих экспериментальных данных в наше время точно так же принимается на веру, как тысячу лет тому назад - трактаты Аристотеля. А какой процент проверенных данных (иной раз проверенных десятилетия спустя) вообще не подтверждается?

Собственно, та же история и с ботовраньем. В принципе, ведь не в средневековье же живем, любую полученную из сети информацию не составляет труда проверить и перепроверить, да? Будь то инфа от чат-ГПТ или от желтой газетки АиФ. Но...

Из всего, что говорилось в комментах, единственный вариант, который кажется мне работающим - это единая система верификации достоверности информации + то, что любой текст однозначно связан с конкретным автором, например, при помощи механизмов блокчейна. Короче, если подумать, технику проверки-то создать МОЖНО. Даже, возможно, не менее надежную, чем та, что существует на данный момент в естественных науках. Но, опять же, упирается все в то, кому это надо и кто это выдержит. Пока что даже вещи, которые можно запросто проверить в один-два клика (из серии "Американская пресса пишет, что..." - а на английском такой информации нет вообще, поиск по ключевому слову не находит ничего) - не проверяются. "Вы не умничайте, вы распространяйте". Ну и кто нам виноват, ИИ?

UPD: уточнение из комментов:

"У вас в одну кучу сброшены эксперименты и клинические испытания, а это две очень большие разницы. Никто и никогда не пьет лекарства по результатам экспериментов."

Большое спасибо за уточнение. Да, вы правы, попутал. А меня интересуют именно в первую очередь эксперименты. То есть некие проходные данные, на основании которых пишутся статьи, на которые потом ссылаются другие авторы (не перепроверяя, потому что всего же не перепроверишь) etc. И которые не меняют картину полностью, нет. Всего лишь чуть-чуть искажают. Как, собственно, и фейки в интернете.

Comments

[mary-spiri.livejournal.com]

У вас в одну кучу сброшены эксперименты и клинические испытания, а это две очень большие разницы. Никто и никогда не пьет лекарства по результатам экспериментов. От них до утвержденного препарата пролегает путь в несколько лет ценой от 2 миллиардов долларов и выше. Этот путь - клинические испытания, 4 фазы. Последняя не заканчивается с утверждением препарата, а продолжается все время его использования. Так что о невоспроизводимости тут лучше не говорить.

Эксперименты в отличие от клинических испытаний могут и не воспроизводиться. Хотя в любой горячей области каждое крутое открытие проверяется другими, по схеме типичной английской охоты на лис, увидев лису, все охотники разом за ней кидаются. Ибо первым на этом пути легче получать гранты. Тут и часто вылезает, что открытия никакого и не было, идёт нормальный процесс науки. Это академический подход.

Ещё есть наука в биотех индустрии. Где проверяют свои, и в хорошей компании никакие подделки невозможны, из-за уровня экспертизы коллег. А все данные в открытом доступе. Поэтому все и каждый понимают цену любому твоему открытию. Конечно есть и плохие компании, где все не так. Но они долго на этом свете не живут.

[nikolamsu.livejournal.com]

Второй абзац выглядит описанием "желаемой", а не "актуальной" реальности :-)

[kot-kam.livejournal.com]

"У вас в одну кучу сброшены эксперименты и клинические испытания, а это две очень большие разницы. Никто и никогда не пьет лекарства по результатам экспериментов."

Большое спасибо за уточнение. Да, вы правы, попутал. А меня интересуют именно в первую очередь эксперименты. То есть некие данные, на основании которых пишутся статьи, на которые потом ссылаются другие авторы (не перепроверяя, потому что всего же не перепроверишь) etc.

[strannik1.livejournal.com]

"В области естественных наук всё хорошо: никто не пьет "непроверенные" лекарства"

Ржунимагу. После "пандемии"(тм) такое говорить может только глупец.

[hansrudel.livejournal.com]

Или выгодополучатель.

[jno2004.livejournal.com]

ИИ - инструмент. Виноват тот, кому выгодно.

[levtsn.livejournal.com]

Недавно думал о технологии которая бы давала гарантию что видео(или фото или аудиозапись) связано настоящей камерой, а не сгенерено сетями путем добавления вотермарка с цифровой подписью.

[vitus_wagner]

Единственное что гарантирует такой ватермарк, это то что данная фотография сделана человеком, имеющим доступ к соответствующему секретному ключу. А камерой он этот снимок сделал или нафортошопил — это останется на его совести.

Есть еще timestamping protocol. который позволяет подписью третьей стороны заверрить, что в такой-то момент времени информационный объект с таким-то содержанием уже был, а не является позднейшей подделкой. Что этот снимок не был сделан за год до указанной даты это проверить не позволяет.

[lipkalapka.livejournal.com]

Я вот тоже про «непроверенные лекарства» как-то чаем подавился. Это если из ближайшего к нам самое страшное — это ковид который аскорбинкой бывает лечили, ну и ничего страшного, то старая добрая история про лечение депрессии лоботомией, причем не в «кровавом СССР», а в «свободной США» — ну и что там с «непроверенными лекарствами»? Или мы уже и 50-ые считаем страшными-кровавыми и такого больше никогда? Так история с ковид-лечением опять-таки еще перед глазами. «Может помогает, но может, конечно, и нет. Но побочки — точно есть!»

[beldmit.livejournal.com]

Насколько я понимаю, что-то приближенное к современному предпродажному циклу лекарств — следствия талидомида. А он относится к началу 1960-х.

[a-konst.livejournal.com]

Лет 10 или 15 назад думал, что Википедии много пошло бы на пользу (в смысле достоверности инфы) если бы у каждого текста был персонифицированный автор, который отвечает репутацией за свой текст. Но тогда меня закидали шишками (и всяким другим).

Оффтопик - у кого-нибудь еще бывает, что жж-движок не дает редактировать комментарий с сообщением "ошибка отправки формы"?
Причем это не всегда, а только для некоторых комментариев, но зато устойчиво - если уж раз не получилось отредактировать какой-то коммент, то что ни делай, в каком стиле ни открывай, хоть перелогинься, все равно не даст.
Приходится удалять и постить исправленный коммент заново.

[beldmit.livejournal.com]

Рефреш, релогин?

[dina-s-fizteha.livejournal.com]

Да, у меня тоже так, способов победить не нашла. Правда не очень и пыталась.

[anna-bpguide.livejournal.com]

любую полученную из сети информацию не составляет труда проверить и перепроверить, да?

Давно нет такой уверенности.
Перепроверяя, мы получаем не факты, а опять же информацию.
Её может быть много, она может быть яркой... и всё равно в конце концов приходится принимать на веру - или не принимать, что сложнее.

[vitus_wagner]

Еще задолго до появления сети говорили "врет как очевидец". То есть даже описание кем-то лично увиденного не дает уверенности что это было так.

Вообще когда мы при решении задачи упирамемся в такие принципиальные сложности, я, обычно начинаю рассматривать версию, что мы решаем не ту задачу. Где-то мы совершили чрезмерное обобщение и решаем слишком общую задачу, которая неразрешима. А надо разбить её на несколько частных, которые окажутся разрешимыми (но разными способами).

[tan-y.livejournal.com]

чисто на всякий случай — про достоверность естественных наук много объяснял flying-bear, вы ведь его знаете? Теперь в фб.

[beldmit.livejournal.com]

А кто он в ФБ?

[vladimir000]

> Я так понимаю (поправьте меня, пожалуйста, если я неправ, потому что это уж точно не моя сфера), подавляющее большинство чужих экспериментальных данных в наше время точно так же принимается на веру, как тысячу лет тому назад - трактаты Аристотеля

Мимо, по крайней мере в механике-физике. Всегда есть другая синагога, в которую не ходим научная школа (и, обычно, не одна) которая защищает совсем другую точку зрения, проводит свои эксперименты, имеет свой наработанный массив прихватов и т.п. И если данные сильно разойдутся с их ожиданиями — то в это вцепятся как клещи. Как минимум, проведут свои эксперименты с условиями, подходящими под их приемы и выйдет статья "о влиянии ХХХ на эффекты второго порядка малость УУУ", а если невязка окажется сильно большей — то на этом и докторскую защитить можно, вдоволь покуражившись над оппонентом.

В качестве примера посмотри на климатологию: все политическое давлениепривело только к тому, что смежники перестали принимать их результаты...

[kot-kam.livejournal.com]

Извини, можно про климатологию поподробнее, а то я не в курсе вообще? (В смысле, про глобальное потепление в курсе, про то, что опровергать его вроде как не комильфо, а дальше?)

[nasse.livejournal.com]

Думаю, что ссылка на источник сильно не всегда достаточна для определения достоверности.

[hansrudel.livejournal.com]

"У вас в одну кучу сброшены эксперименты и клинические испытания, а это две очень большие разницы. Никто и никогда не пьет лекарства по результатам экспериментов."

Пьют. Те, на ком проводят клинические испытания. Со мной работал мужик, которого по блатной линии пристроили пить новые лекарства. Секрета он из этого не делал. Получал он за это очень хорошо. Кончилось онкологией.

[once-for-all.livejournal.com]

Не факт что онкология как то связана с участием в испытаниях

[natusha-st.livejournal.com]

Мне кажется, что стоило бы уточнить, кто проверяет достоверность информации: другой специалист или обыватель. Обыватель эксперимент не воспроизведет, кроме самого простого, но те данные были актуальны в 18 веке.

[mona-silan.livejournal.com]

Да лааадно. Пить — чего только не пьют. Перекись, чагу, всякие травы и настои. Турмалиновые какие-то стельки носят с цирконовыми браслетами (это пусть бы). Собственно, я вот L-карнитин пью и толком не могу сказать, есть ли от этого какой толк.

Я ту за зиму садоводских всяких статей начиталась. Чего только не советуют! Без всякого ИИ, лишь бы чего написать и эта бредятина повнушительней выглядела, а приглядишься — советы, что называется, с шестью пальцами и пятью зрачками.

[grey-parrot.livejournal.com]

Я в свое время много сидела на всяких садовых формах, и даже статеечки какие-то пописывала в журнальчики. А коллеги по садовой болезни даже там работали. Не нужны никому честные статьи, статьи должны _продавать_ определённый товар. И еще нужны "фитоэротические" картинки и бла-бла-бла уровня лунных гороскопов, ради которых 90% аудитории и покупает эти журналы. А теперь, с исчезновением бумажной прессы, и вовсе, если такие статьи и появляются — это, во-первых, всегда заказ сайта с профильными товарами, а во-вторых, гораздо дешевле нанять копирайтера (а теперь и вовсе нейросеть), которые накомпилируют из имеющейся туфты тонны туфты новой, чем привлекать действительно знающего человека, дорожащего репутацией, пусть и в узких кругах профессионалов и любителей.

[tamgdenasnet.livejournal.com]

Если следовать рациональному подходу, нужно считать, что все опубликованные в рецензированных журналах результаты получены добросовестно. Тот же рациональный подход требует подвергать сомнению все изложенные факты, но считать их верными, пока нет свидетельств обратного.

Если вас интересует практика, то все сколько-нибудь важные результаты в экспериментальных физике, химии и биологии (физики и биологи могут меня поправить при желании) многократно перепроверялись и уточнялись.

Если вы видите людей, которые утверждают, что целые области науки (например, климатология) из-за тридцати серебряных грантов или приказа рептилоидов публикуют заведомую ложь, гоните его, не верьте ему, вежливо промолчите, тут ничего нельзя сделать, скорее всего. Что совершенно не исключает честной ошибки у целой области или недобросовестности у отдельных ученых.

[a-konst.livejournal.com]

Вот тут выше человек пишет, что целые другие области науки заметно противоречат той же климатологии, и даже Nature (по его словам) отказалась принимать статьи по климатологии из-за этого.

[riftsh.livejournal.com]

В вики очень хорошая и подробная статья с большинством нужных ссылок в библиографии: https://en.wikipedia.org/wiki/Replication_crisis
Там и про экспериментальную науку, и про клинические испытания.

Конкретно про ИИ и кризис воспроизводимости результатов: "Could machine learning fuel a reproducibility crisis in science?" — https://www.nature.com/articles/d41586-022-02035-w

[pharmazevt.livejournal.com]

Эксперименты будут перепроверять те, кого волнуют их результаты.