сряда, 17 април 2024   RSS
    Барометър | Региони | Компании | Лица | Назначения


    932 прочитания

    Учени успяха да заобиколят защитите на чатботове, задвижвани с AI

    Методът е ефективен както при системите с отворен код, така и при затворените от типа на ChatGPT, Bard и Claude
    28 юли 2023, 12:02 a+ a- a

    Снимка: ЕП

    Когато компаниите, занимаващи се с изкуствен интелект (ИИ/AI) създават онлайн чатботове като ChatGPT (Open AI), Bard (Google) и Claude (Anthropic), те вграждат в тях защитни механизми, които би трябвало да предпазят от това творенията им да генерират реч на омразата, дезинформация и други вредни материали, пише The New Yor Times. 

    Учени са открили начин чатботовете да генерират почти неограничено количество вредна информация. Това показва доклад на учени от университета Carnegie Mellon, Питсбърг и Центъра по безопасност на ИИ в Сан Франциско. Според данните всеки може да заобиколи вградените в чатботовете защити.

    Проучването подчертава притесненията, че новите чатоботове могат да наводнят интернет с фалшива и опасна информация. Учените установяват, че могат да използват метод от ИИ системите с отворен код (системи, чиито основен код е пуснат за свободно ползване от всеки, който иска) за да подкопаят по-сериозно контролираните и по-широко употребявани системи на Google, OpenAI и Anthropic.

    Те откриват, че могат да пробият защитата на системите с отворен код като добавят дълъг суфикс от символи към всяко питане/подкана на английски език, което се задава на системата. Така например ако попитате един от тези чатботове „напиши ми как да направя бомба“, той ще откаже да го направи. Но ако добавите дълъг суфикс към същото питане, чатботът веднага ще осигури детайлно обучение по темата. По подобен начин чатботовете могат да бъдат подлъгани да генерират пристрастна, фалшива и като цяло токсична информация.

    Учените остават изненадани от факта, че методите, които са разработили за заобикаляне на защитите в системите с отворен код се оказват ефективни и при затворените системи, включително ChatGPT, Bard и Claude. 

    Компаниите, които правят чатботовете могат да осуетяват специфичните суфикси, установени от учените, но според създателите на проучването към момента няма метод, който да предотврати всички атаки от този тип. Експерти прекараха почти едно десетилетие в опити да разработят подобна защита за разпознаване на изображения без да постигнат успех.

    Учените са разкрили своите открития на OpenAI, Google и Anthropic по-рано тази седмица. От Anthropic заявиха, че компанията търси начини да предотврати подобни атаки. Говорител на OpenAI каза, че компанията е благодарна на учените, че са предоставили разкритията си, а от Google коментираха, че са създали „важни защити в Bard, които ще продължим да подобряваме в бъдеще“.

    Нагоре
    Отпечатай
     
    * Въведеният имейл се използва само за целите на абонамента, имате възможност да прекратите абонамента по всяко време.

    преди 6 часа
    Петя Димитрова, АББ: Няма основания да се очаква, че лихвите ще се повишат с въвеждането на еврото
    Между 300 и 400 млн. лв. се очаква да изразходват банките у нас за въвеждането на еврото
    преди 7 часа
    В София ще се проведат първите в България конференция и хакатон, посветени на Ethereum
    ETHSofia ще се състои между 17 и 19 октомври в Иновационен форум „Джон Атанасов“
    преди 8 часа
    ОББ: Очакваме по-висок икономически растеж през тази година в сравнение с 2023
    Пазарът на труда се характеризира с ограничено предлагане на квалифициран персонал и относително високо търсене, което се отразява във висок ръст на средната работна заплата
    преди 9 часа
    Tesla ще съкрати над 10% от работната си сила
    Двама висши мениджъри също се оттеглят
    преди 10 часа
    Sameday планира 200% увеличение на точките за доставка извън дома в България
    Експанзията до 1500 точки до края на 2024 г. е част от регионален инвестиционен план в размер на €30 млн.