четвъртък, 22 февруари 2024   RSS
    Барометър | Региони | Компании | Лица | Назначения


    863 прочитания

    Учени успяха да заобиколят защитите на чатботове, задвижвани с AI

    Методът е ефективен както при системите с отворен код, така и при затворените от типа на ChatGPT, Bard и Claude
    28 юли 2023, 12:02 a+ a- a

    Снимка: ЕП

    Когато компаниите, занимаващи се с изкуствен интелект (ИИ/AI) създават онлайн чатботове като ChatGPT (Open AI), Bard (Google) и Claude (Anthropic), те вграждат в тях защитни механизми, които би трябвало да предпазят от това творенията им да генерират реч на омразата, дезинформация и други вредни материали, пише The New Yor Times. 

    Учени са открили начин чатботовете да генерират почти неограничено количество вредна информация. Това показва доклад на учени от университета Carnegie Mellon, Питсбърг и Центъра по безопасност на ИИ в Сан Франциско. Според данните всеки може да заобиколи вградените в чатботовете защити.

    Проучването подчертава притесненията, че новите чатоботове могат да наводнят интернет с фалшива и опасна информация. Учените установяват, че могат да използват метод от ИИ системите с отворен код (системи, чиито основен код е пуснат за свободно ползване от всеки, който иска) за да подкопаят по-сериозно контролираните и по-широко употребявани системи на Google, OpenAI и Anthropic.

    Те откриват, че могат да пробият защитата на системите с отворен код като добавят дълъг суфикс от символи към всяко питане/подкана на английски език, което се задава на системата. Така например ако попитате един от тези чатботове „напиши ми как да направя бомба“, той ще откаже да го направи. Но ако добавите дълъг суфикс към същото питане, чатботът веднага ще осигури детайлно обучение по темата. По подобен начин чатботовете могат да бъдат подлъгани да генерират пристрастна, фалшива и като цяло токсична информация.

    Учените остават изненадани от факта, че методите, които са разработили за заобикаляне на защитите в системите с отворен код се оказват ефективни и при затворените системи, включително ChatGPT, Bard и Claude. 

    Компаниите, които правят чатботовете могат да осуетяват специфичните суфикси, установени от учените, но според създателите на проучването към момента няма метод, който да предотврати всички атаки от този тип. Експерти прекараха почти едно десетилетие в опити да разработят подобна защита за разпознаване на изображения без да постигнат успех.

    Учените са разкрили своите открития на OpenAI, Google и Anthropic по-рано тази седмица. От Anthropic заявиха, че компанията търси начини да предотврати подобни атаки. Говорител на OpenAI каза, че компанията е благодарна на учените, че са предоставили разкритията си, а от Google коментираха, че са създали „важни защити в Bard, които ще продължим да подобряваме в бъдеще“.

    Нагоре
    Отпечатай
     
    * Въведеният имейл се използва само за целите на абонамента, имате възможност да прекратите абонамента по всяко време.

    преди 26 минути
    Германската KAYSER Automotive инвестира в завод за автомобилни компоненти в Плевен
    Компанията ще развива дейността си в Логистичен парк БПД Плевен
    преди 1 час
    Nvidia отчете рекордни приходи
    Акциите на компанията отбелязват 200% ръст спрямо година по-рано
    преди 3 часа
    ЕК разследва TikTok за алгоритми, водещи до пристрастяване
    Китайската социална мрежа има над 1 млрд. потребители
    преди 6 часа
    Sameday България планира да инвестира над 17 млн. лева през 2024 г.
    През 2023 г., Sameday отчита 2,6 млн. доставени пратки, с 38% от тях получени чрез автоматизирани шкафчета за доставка извън дома
    преди 7 часа
    Capital One придобива Discover
    Сделката на стойност $35,3 млрд. ще обедини двете най-големи компании за кредитни карти в САЩ
    преди 8 часа
    БНБ: Чуждите инвестиции у нас с ръст от 28% за година
    Най-големите вложения в страната за януари - декември 2023 са от Швейцария, Австрия и Белгия