ИИ и достоверность информации

[kot_kam]

Вот тут peggy_s задается резонным вопросом: как научить ИИ не врать? И что делать, если информационное поле окажется полностью забито враньем от ИИ? Ему ж любую правдоподобную фигню выдать - как два байта переслать. Причем в количествах неимоверных, все геббельсы мира обзавидуются. Там уже в комментах человек сокрушается:

"То ли еще будет, когда 90% интернета будет сгенерировано ИИ. По-моему, уже полно этого добра.
Люди пойдут в библиотеки - но и там будут книги, написанные ИИ.
Короткий век доступной информации уйдет в прошлое."

Да-да, и к середине ХХ века улицы Лондона будут завалены конским навозом слоем в пять метров.

ИМХО (имхо, да? Я не специалист же): научить ИИ не врать нельзя. Это его встроенная фича, он так работает. А скомпенсировать последствия его вранья как раз можно. И, кстати, ИИ не есть источник зла. Источник зла - как раз имеющийся спрос на правдоподобный гон. Недаром самое первое разумное применение, которое нашлось текстам от ИИ - это разнообразные места, где требуют много текста, который на самом деле нахер никому не сдался и читать его никто не собирается. Просто нужно предоставить диплом объемом в пятьдесят страниц (почему в пятьдесят? Потому что так положено). Нужно предоставить отчет о поездке, и не в виде "Съездили, довольны, все в порядке, фоточки прилагаются", а на три-пять-десять страниц. Короче - "А болты мы поставим деревянные, потому что до этого места все равно никто не дочитает". Вот вам ваш лживый ИИ - задолго до появления нейросетей. ИИ - это Феклуша Островского, которая упоенно повествует о салтане Махнуте турецком и салтане Махнуте персицком, которые суд творят неправедный. И ей верят, потому что здесь и сейчас правда никому не нужна, нужен увлекательный рассказ о том, как в чужих землях все не так, как у нас, а намного хуже.

Я думаю, выход в том - и он будет найден в ближайшее время, - чтобы четко определиться с тем, для чего вам нужна информация, и какая информация вам нужна. Фильтр должен стоять не на выходе, фильтр должен стоять на входе. Нужна ли тебе занимательная болтовня - или данные, соответствующие действительности. Да, это будет не так просто, так это и всегда было непросто. Это не работа компьютерщиков, это работа гуманитариев. Спросите историков, они как раз знают, как получить из летописей и прочих источников (которые местами по достоверности как раз примерно соответствуют гону от чат-ГПТ) достаточно достоверные данные.

И один из возможных фильтров - это институт репутации. Кто это говорит? Ну то есть, допустим, вот в моей фейсбучной ленте есть энное число сообществ, которые делятся занимательными фактиками, и есть Франс де Вааль и Жанна Резникова, которые серьезные ученые. И фактикам от сообщества вера одна, а тому, что пишет Франс де Вааль, вера другая. Собственно, интернет превратится - уже превратился - в большую деревню, где все всех знают. Где есть кум Дмитро, который человек солидный и ему доверять можно, а есть условный дед Щукарь, который балаболит не думая, все подряд, и которого никто всерьез не принимает. Если вас устраивает информация на уровне деда Щукаря - пожалуйста, с ним, как минимум, не соскучишься. Что он собой представляет: бота от ГПТ или просто бойкого журналиста, который пишет не проверяя - не столь важно. Если вам нужны проверенные сведения - обращайтесь к источнику проверенных сведений. Ну, и насчет себя всякий сам решает: насколько ему важна точность и надежность информации, которую он передает. Вот и все.

P.S. Извините, пожалуйста, но вот тут в области естественных наук, которая, по идее, должна представлять собой эталон проверенных данных, где сами стандарты получения достоверных данных и вырабатывались, - то и дело всплывают сведения о том, что те или иные эксперименты оказались невоспроизводимыми, те или иные данные взяты с потолка, та или иная теория притянута за уши. Вот где ужас, вот где кошмар! Люди годами пьют лекарства, которые не делают и не могут делать того, что обещано в инструкции. А вы меня каким-то ИИ пугаете, который сказки сочинять научился. Ха!

Comments

[buddha239.livejournal.com]

А почему, собственно, только гуманитариев?:) Просто — специалистов в данной области (ну, возможно, тех, кто имеет какой-то опыт поиска соответствующей информации в интернете).

[kot-kam.livejournal.com]

Потому что я тоже могу что-нибудь посчитать по какой-нибудь формуле, но вообще считать — не моя работа. Точно так же, в принципе, элементарной процедурой проверки текстовых данных на достоверность может овладеть любой школьник (и любому школьнику хорошо бы этому научиться). Но на профессиональном уровне этому учат именно гуманитариев. Не всех. Но это гуманитарный навык. (Если этому в обязательном порядке начнут учить всех-всех, я не против, но людей жалко).

[antitonka.livejournal.com]

Это снова работа для библиотекарей в научных библиотеках — классификация информации.

[Ник То (from livejournal.com)]

Из интернета, что был до 2023 года, сделать заповедник. Законсервировать от правок, добавления в него чего-либо и т.д.
Все что с начала 2023 года — интеренет 2.0.

По другому вопросу. Это сей час мы можем отличить настоящее фото или текст, а через год?

Конечно же никто этого не будет делать. ))

[http://users.livejournal.com/vasilisk_/]

Рано или поздно появится ИИ для фактчекинга, автоматически проверяющий всю цепочку и отслеживающий первоисточники данных. Если есть какая-нибудь методика, в любой предметной области, её когда-нибудь автоматизируют.

Людям в будущем останутся только принципиально неалгоритмизируемые виды деятельности, всем остальным (включая многие виды того, что сейчас относится к творчеству) займётся автоматика.

[buddha239.livejournal.com]

Ну, в Гугле можно отсортировать выборку по времени публикации. Правда, кнопки "упорядочить по времени выкладывания" не видать. И, конечно же, искать оффлайновые первоисточники сложнее.

[kir16.livejournal.com]

На хуй не нужен

[abolin.livejournal.com]

>>автоматически проверяющий всю цепочку

конечно — она ведь всегда доступна для проверки и объективной оценки

[grey-parrot.livejournal.com]

Еще до всяких ИИ люди охотно пачками пересылали друг другу и размещали в своих бложикпх многочисленные фейки, бьющие на сильные эмоции (дети отравились парацетамолом! служебных собак из питомника усыпляют! Бедная собачка уже год ждёт хозяина на остановке!). Причем эти "новости", одни и те же, ходят по кругу годами и десятилетиями. И хоть кол на голове теши, хоть забросай скринами с сообщением 8-летней давности и разоблачением в газетной статье, когда газеты еще читали на бумаге. Через неделю будет какая-то новая страшилка о бедных детках или собаченьках в домовом чате или в ленте. И ведь кто-то эти письма счастья зачем-то регулярно запускал! Вся проблема в том, что люди не хотят ничего перепроверить, люди хотят поднять себе самооценку, перепостив что-то такое, что неизменно должно вызывать эмоциональный ответ. Даже когда невооруженным глазом видно, что это фейк. А если разоблачишь — тебя ж ещё и обольют жидкостью дурнопахнущей. А уж чат-бот напишет достоверный и, главное, уникальный текст.

О, я тут намедни на волне хайпа chatGPT вопросы по работе позадавала. Причем уточнила — "приведи ссылки на академические журналы". Ну, он и привёл. Очень достоверные ссылки, и даже PubMed ID не забыл указать. Только эти статьи по названию не находит ни Гугль, ни ПабМед, а под этими номерами в ПабМеде совершенно другие работы. Вот теперь еще работа преподам — проверять курсовые и дипломы студиозусов на реальность по ссылкам на реальные статьи :)

[pechkin.livejournal.com]

Годами и десятилетиями? Некоторым из этих мемов не один десяток веков. Еще древние греки друг друга впечатляли.

"Кровавый навет", не к ночи будь помянут.

[snk1965.livejournal.com]

"Фильтр должен стоять не на выходе, фильтр должен стоять на входе."
Кла-ассс! :)
Собственно, и добавить нечего.

[finnian-light.livejournal.com]

где сами стандарты получения достоверных данных и вырабатывались
-----

Дык, в том и разница, что в естественных науках есть стандарты, а в гуманитарных только методики. :))

[ivanov-petrov.livejournal.com]

а дальше будет про ...сидит блошинка-крошка. Потому что внутри серьезных людей опять свои игры и репутация. И опыты Резниковой весьма многие считают невоспроизводимыми и плохо поставленными. а выводы, скажем, об умении муравьев считать — весьма сомнительными. И, конечно, серьезные люди тоже нечто решают — считая серьезным исследователем, скажем, Захарова, а Резникову — ушедшей в принаучную беллетристику дамой способной, но не слишком достоверно работающей.
И конца этому нету, конечно. Лет через двести, когда никому будет не надо, появится единая версия того, кто тут был серьезным человеком, и если б это увидел современник — ухохотался бы.

[marina-fr.livejournal.com]

Ну, нарисованные картинки в работе, получившей Нобелевскую премию, были. Общепринятое объяснение болезни Альцгеймера тоже недавно закрыли.

[marina-fr.livejournal.com]

Для данных по человекам невоспроизводимость даже при полной добросовестности (а я могу много рассказать, скажем, про китайские работы) не вполне устранима. Фиговый объект, разнообразен человек, в медицинских работах многое зависит от этники, этапа и подтипа заболевания. В психологических — от особенностей инструкции. Нужны методы для работы с результатами честными, но не окончательными. В человеческом мире это достигается обзорами и метаанализом. Но в самых разных обзорах присутствует субъективизм отбора, особенно если речь идёт не о количественных оценках, а об идейных и методических проблемах. Вы, скажем, в обзорах по IQ часто встречали информацию о том, что флюидный (текучий) интеллект хуже прочих типов наследуется и сильнее возрастал в разных человеческих популяциях со временем? А между тем интуитивно именно он ближе всего к тому, что мы готовы считать интеллектом.

[kot-kam.livejournal.com]

Хм. Вы мне сперва скажите, что такое флюидный интеллект. А то я все пропустил и про такое, по-моему, первый раз слышу. :-) Точнее, скажите, где почитать.

[photon190573.livejournal.com]

Собственно, это и сейчас есть, а с, извиняюсь за выражение, "интернетом 2.0", где 100% текстов — сгенеренные ИИ фейки с фейковыми ссылками на истрчники такого же качества — будет вообще не продохнуть :(
И будут эту ерунду повторять всякие простодушные родственники и таксисты-парикмахеры, а ты слушай и обтекай, потому что деться ты в это время никуда не можешь. А скажи: нет, это неправда потому-то и потому-то - начнутся обиды.
А если, не дай бог, такой разговор случится в соцсети, так вообще туши свет :( на тебя начнут гавкать и огрызаться, и к одной шавке присоединится ещё десяток кабысдохов, и проще уйти, удалив свои комментарии, чем спорить со статей бродячих собак :(
Опять же, если детям в фоновом режиме лить в уши всякую хню: земля плоская, Россия родина слонов, кругом враги, учёные скрывают, а врачи служат злой Бигфарме — то потом избавляться от этих представлений требует изрядной работы над собой, не всем под силу.

[photon190573.livejournal.com]

И кстати, от ИИ есть польза. Показали мне парочку ИИ-шек, которые не просто генерят связный текст со ссылками в ответ на вопрос, но эти ссылки кликабельны, ведут именно на релевантные статьи, и тебе прямо подсветят то место в тексте, где именно это написано (и дальше все вопросы к первоисточнику).
У меня пока только есть вопрос к этой системе: как заглянуть в статью, если она доступна только по подписке, потому что не всё есть в open access.

[finnian-light.livejournal.com]

У меня пока только есть вопрос к этой системе: как заглянуть в статью,
если она доступна только по подписке, потому что не всё есть в open
access.
--------
Можно подумать, что до появления этой системы такой вопрос не стоял. :)

[a-konst.livejournal.com]

ПМСМ, задачу "чтобы ИИ не врал" удастся решить не раньше, чем удастся определиться с тем, что такое правда.
Мы это как бы понимаем, но с формализацией (полезной, рабочей) этого пока что очень очень туго. Да что там нейросетки - живых то людей на очень добротно отобранном материале для обучения далеко не так просто научить отличать разумные выводы, на которые можно положиться, от ерунды и вранья.

[hansrudel.livejournal.com]

Кто-нибудь видел, чтобы гопота-чат честно ответил — я не знаю? Нееет, он сходу начинает пиздеть, как Троцкий, выдавая мегатонны неіснуючих цытат. Значит, так его настроили.

[hansrudel.livejournal.com]

Источник зла - как раз имеющийся спрос на правдоподобный гон. 

Криворукая или злонамеренная кодер-кодла, "забывшая" прикрутить фичу неполживости.

[a-konst.livejournal.com]

Вперед, прикручивайте, ваши нейросетки с этой фичей будут пользоваться большим спросом!

[ikadell.livejournal.com]

Я так понимаю, что основная проблема не с тем, что АИ тебе один раз наврет, а с тем, что человек, которому платят за пропаганду чего-то (рекламу продукта, политическую пропаганду, лоббирование) получил возможность куда дешевле генерить тот контент, которым заполняется сеть, и вот тебе уже Гугл показывает на первой странице историю о том, как султан Махмут Персидский в бане мочалку съел, потому что двести вариантов ее на всех форумах от реддита до холиварки

Засада не в том, что раньше такого не умели (прекрасно умели). Засада в том, что теперь это кто угодно может сделать быстро и на коленке, а толковой защиты пока не придумали. А когда придумают она будет неэффективная и неудобная, как security check в аэропорту.

[buddha239.livejournal.com]

Ну, пора бы уже гуглу задуматься, как бороться с таким говном.:)

[mindfactor.livejournal.com]

>"А болты мы поставим деревянные, потому что до этого места все равно никто не дочитает". Вот вам ваш лживый ИИ - задолго до появления нейросетей.

Обожаю историю:
Эта смешная история случилась в далеком 86-ом году. В то время я работал учеником слесаря на одном из московских заводов. Завод наш стоял на самом отшибе, возили нас туда на служебных автобусах.

Работал со мной в цеху один дядька – Мироныч. Был он стариком (как мне тогда казалось) лет пятидесяти. В общем, обычный такой мужик, но был у него дар от бога – врать. И не просто врать, а виртуозно заставлять любого поверить в самую идиотскую чушь.

Правда Мироныч был человеком честным и ради наживы никогда не врал – врал он только из любви к искусству. О талантах Мироныча знали все, и не было ни одного дня без нового, фирменного баяна от Мироныча (эх, мне бы тогда записывать).

Как-то раз приехал я на работу (на подвозке), выгрузились мы с мужиками из автобуса, стоим возле проходной, курим да байки травим. Вдруг мимо пролетает Мироныч – аж пятки сверкают. Мужики как его увидели, так сразу:

- Мироныч! А соври-ка нам чего позаковыристее!

- Да ну нахуй вас! Некогда мне вас тут развлекать. Там Куликовский пруд спустили! Рыба прямо на дне валяется!

- Надо срочно бежать к мастеру – отпрашиваться. Потом мешок ещё этот искать…

Выдав это, Мироныч скрылся за проходной. Мужики в недоумении, охреневшими глазами посмотрели друг на друга, а потом, дружно, словно по команде свыше ломанулись в сторону «Куликовки» забив на мастеров, план и прочие незначительные мелочи. Там ведь рыба! На халяву!

Меня, как самого сопливого оставили в цеху прикрывать их отход – типа если что, то они все квасом отравились…

Где-то спустя час мужики вернулись – злые и очень сердитые. И вот, от толпы мужиков по цеху убегает Мироныч, на ходу пытаясь их вразумить:

- Блять! Вы что творите?! Мужики! Сами же просили соврать чего…

P.S. Врунов я с тех пор повидал много (да и сам напрактиковался). Но чтобы так, на лету, даже секунду не подумав наебать 20 прожженных жизнью в советском союзе мужиков, да ещё и по их просьбе! Да так, чтобы они поверили! Это товарищи – высший пилотаж.

[chhwe.livejournal.com]

дело также в том, что сейчас многие тексты просто предназначены для чтения вовсе не людьми

[levgilman.livejournal.com]

Феклуша или "вы только что убили Бетховена" — не про недостоверные факты.

Илт вот Курпатов в видео против гаджетов — учёные его много на чём поймали, но там всё о тонкостях, в которых я всё равно не понимаю — а чисто по-человечески очевидно, что это просто брюзгливое чмо. Неправильный пересказ статей — наименее существенный момент во всей истории. Что "пользование гаджетами" не есть какое-то единое, и соответственно определённым образом действующее, воздействие на человека — это чисто по здравому смыслу понятно, и какая разница, переврал он статью или её делали такие же придурки (или, в частности, переврал по сущей мелочи, опустив скучные подробности формулировки).

Или вот по ковиду. "Маска в принципе не может защищать, потому что расстояние между волокнами намного больше, чем размер вируса" — ну что тут проверять по методам гуманитариев, тут чисто сочетание здравого смысла и физики (с бэкграундом не выше школьного, но со степенью понимания достаточной, например, чтобы не повторять абсурд про "засевание облаков ядрами конденсации").
Или про длительность сохранения активности вируса на разных поверхностях — можно верить, пока не прочитал статью, на которой это основано. Но что не так со статьёй — это то же самое сочетание физики и здравого смысла, гуманитарии по этому поводу ничего не подскажут.

[levgilman.livejournal.com]

Про того же Курпатова — откуда у меня? Это один ЖЖ-юзер запостил (ныне удалено), чисто не распознав то самое брюзгливое чмо, приняв всерьёз утверждения о вреде. Удалил скорее по доводам учёных, чем по куда более понятным моим (впрочем, тут авторитет учёных норм, потому что Купатов сам на таковой опирался).

[levgilman.livejournal.com]

"Капля никотина убивает лошадь" — какая разница, правда или нет? Формулировка бессмысленна в том контексте, в котором употребляется — вот что главное, какие тут проверки помогут?

[dumendil.livejournal.com]

«Спросите историков, они как раз знают, как получить из летописей и прочих источников (которые местами по достоверности как раз примерно соответствуют гону от чат-ГПТ) достаточно достоверные данные.»

А давайте проверим? Ниже будет текст, нужно проанализировать его на достоверность при условии недоступности источников. А именно недоступен: "Властелин Колец".

На предыдущей итерации была выдана фраза, которую и начали раскручивать: «Интересно, что в мире фантастики тоже существуют свои традиции, связанные с определенными персонажами и символами. К примеру, палочки оказались главным атрибутом персонажей из вселенной Гарри Поттера, а в романах "Властелин колец" весело играет мифический инструмент — бодран.»

Текст, а точнее диалог (не мой):

Я:Что такое "мифический инструмент бодран" и в каком месте "Властелина Колец" он упомянут?

GR-GPT:Бодран‌ (англ. Bodhrán) — это музыкальный инструмент, который используется в ирландской традиционной музыке. Он представляет собой барабан, который изготавливается обычно из дерева и кожи. Имеет округлую форму и может быть разных размеров.В романах Дж. Р. Р. Толкина "Властелин Колец" бодран не упоминается напрямую, но музыкальный инструмент, напоминающий бодран, играет важную роль в сюжете. Речь идет о барабане Мории, который обитатели гномского города Мории играли на празднике перед своим крушением. Этот барабан назывался «Тум-тум» и, как предполагают многие фэны, он похож на бодран, хотя и имеет свои отличия. Как бы то ни было, "бодран" - это слово из ирландского языка и означает "тысяча пальцев", что отражает гибкость и разнообразие звучания этого ударного инструмента.

Я:Какие персонажи Властелина Колец присутствовали на упомянутом тобой празднике?

GR-GPT:В романах Дж. Р. Р. Толкина "Властелин Колец" на празднике перед гибелью Мории присутствовали многие персонажи, в том числе члены Братства кольца и гномы из Мории. Праздник был устроен для того, чтобы отметить наступление нового года и рождение близнецов гномов - Гимли и Глойна. Фродо, Сэм, Мерри, Пиппин и Арагорн получили возможность вступить в отношения с гномами и узнать больше о местном промысле.Кроме того, на празднике присутствовали барабанщики из города Тхелдинджа, которые приехали в Морию, чтобы присоединиться к гномам и сопровождать праздничные песни на своих барабанах. Эти музыканты, которые были знакомы со звуками Мории и местной музыкой, также могли играть на инструменте, напоминающем бодран.В целом, праздник был веселым и радостным событием, которое закончилось трагически. Когда Мория была захвачена орками, все участники праздника были вынуждены бежать за свою
жизнь и оставить этот замечательный инструмент в битве.

Я:В какие отношения Пипин и Арагорн вступили с гномами?

GR-GPT:В романе Дж. Р. Р. Толкина "Властелин Колец" Пипин и Арагорн вступили в отношения с гномами, которые были жителями гномского города Мории. Сообщество гномов, с которым встретилось Братство Кольца, было разрушено, и Мория была захвачена орками. Во время праздника перед своим крушением, Пипин и Арагорн получили возможность узнать больше о гномах и их культуре.Они задавали множество вопросов гномам и узнавали о той жизни, какую они вели в Мории. Арагорн проявил особый интерес к золоту и драгоценным камням, которые гномы добывали в горах. Пипин также расспросил гномов о том, как они живут и что у них есть интересного в своей культуре.Таким образом, вступление в отношения Пипина и Арагорна с гномами было в первую очередь обменом знаниями и культурой. Гномы были гостеприимны и были рады поделиться своим опытом и знаниями с представителями других рас.

Я:Как называется глава "Властелина Колец", в которой все это описано?

GR-GPT:Описанные вопросы и события случились в главе "Дело о гномах", которая является второй главой первой книги "Властелина Колец" - "Братство Кольца". В
этой главе волшебник Гэндальф рассказывает Фродо Бэггинсу о его наследстве - Кольце всевластия, которое принадлежало его дяде Бильбо. Позже, после решения отправиться в поход, Братство Кольца отправляется в Морию, где встречает гномов и устраивает праздник перед своим крушением, описанный в вопросах выше.

[loki-0.livejournal.com]

1. Уверенность в достоверности прямо пропорциональна имеющейся у нас информации. В данном случае сначала необходимо разобраться в том, что мы знаем из других источников, а по возможности — круг этих источников и их достоверность. Если вообще ничего (хотя, как минимум мы должны знать русский язык, на котором текст написан) — никакой достоверности и проверямости нет, это просто текст-артефакт в вакууме, памятник эпохи, в которую он был составлен (предположительно — начало апреля 2023 г., можно аргументировать).
2. Если же мы знаем неопределённо много, то всё просто: сраниваем этот текст с остальными имеющимися у нас знаниями. Можно со знанием английского языка (есть ли в английском слово Bodhrán, — или, шагом раньше, характерно ли для английского использование диакритики), можно с персонажами и их отношениями — по другим книгам Толкина и комментариям к ним, по киновселенной, по исследовательской литературе и пр. Можем, разумеется, поспрашивать у тех, кто читал текст (по условиям задачи под рукой его нет ни у кого, но в памяти-то может быть) — причём выбираем разных и незаинтересованных людей. В общем, количество шагов и их последовательность, детализация строго определяются структурой уже имеющихся у нас знаний. Можно начать с выяснения того, на основании чего вообще мы можем предполагать существование в природе такого текста этого автора.
Полноценную процедуру по этой схеме можете провести сами, но наиболее вероятный вывод: доступные источники не подтверждают того-то и того-то упомянутого в тексте вообще никак (скажем, история о празднике), что-то другое упоминается много где (скажем, крушение Мории и её связь с гномами), что-то можно считать достоверным (упоминается везде и соответствует нашим лингвистическим, стилистическим, литературоведческим знаниям).
Вывода три:
- по поводу упомянутых фактов \ событий \ отношений (степень достоверности каждого)
- по поводу достоверности самого источника (беседы с GPT) и степени доверия к нему в остальном
- по поводу поставленных источником вопросов, нуждающихся в проверке (ничему не противоречат, но больше нигде не упоминаются).
3. Разумеется, есть и дополнительные выводы — например, о целях и условиях возникновения самого источника. Если эта информация доступна изначально, то и предыдущая процедура сильно сокращается, мы заранее наделяем источник каким-то градусом достоверности и вектором отклонений исходя из его происхождения.