Създадоха голям езиков модел с арабски

Снимка: iStock

Група инженери, изследователи и базирана в Силиконовата долина компания за чипове си сътрудничиха, за да създадат усъвършенстван софтуер на арабски език, който може да захранва генеративни AI приложения, съобщи „Ройтерс“.

Новият голям езиков модел, наречен Jais, съдържа 13 милиарда параметъра, които са направени от голяма партида данни, комбиниращи арабски и английски, част от които е и компютърен код.

Групата, която включва учени и инженери, се зае с проекта отчасти защото казаха, че има малко големи езикови модели, които са двуезични.

Новият езиков модел е създаден с помощта на суперкомпютри, произведени от базираната в Силиконовата долина Cerebras Systems, която проектира чипове с размер на чиния, които се конкурират с мощния AI хардуер на Nvidia. Чиповете на Nvidia са дефицитni, което накара компаниите по света да търсят алтернативи.

Кръстен на най-високия връх в Обединените арабски емирства, Jais е сътрудничество между Cerebras, Университета за изкуствен интелект „Мохамед бин Зайед“ и дъщерно дружество на базирания в Абу Даби технологичен конгломерат G42, наречен Inception, който се фокусира върху изкуствен интелект (AI).

Според професор Тимъти Болдуин от Университета за AI интелект „Мохамед бин Зайед“, тъй като няма достатъчно данни на арабски, за да се обучи модел с размера на Jais, компютърният код в данните на английски език помага да се обучи способността на модела да разсъждава,.

„(Кодът) дава на модела голямо предимство по отношение на способностите за разсъждение, защото изписва (логичните) стъпки“, каза Болдуин пред „Ройтерс“.

Jais ще бъде достъпен чрез лиценз с отворен код.

Групата обучава модела Jais на суперкомпютър Cerebras, наречен Condor Galaxy, изграден в партньорство с G42. Тази година Cerebras обяви, че се е съгласила да построи 3 такива единици с G42, като първата е планирана да пристигне тази година, а две допълнителни единици ще бъдат доставени през 2024 г.

„Този модел беше обучен от началото до края на 13 милиарда (параметри) за 3 дни и половина“, каза изпълнителният директор на Cerebras Андрю Фелдман. „Но имаше месеци работа преди това.“