Meta предупреждава, че новият му чатбот може да забрави, че е бот

  • Sep 04, 2023

Meta пусна BlenderBot за тестване от всички - но може би не вярвайте на всичко, което казва.

играчка-робот
Изображение: Getty Images/Josef Kubes/EyeEm

Meta пусна чатбот BlenderBot 3 за обществеността с вградени „рецепти за безопасност“, за които твърди, че е намалил обидните отговори с до 90%, но ботът може да лъже и да бъде груб.

The BlenderBot 3 демонстрацията е достъпна онлайн за базирани в САЩ посетители и скоро трябва да бъде достъпна в други страни.

„BlenderBot 3 е в състояние да търси в интернет, за да разговаря на почти всяка тема, и е проектиран да научи как да подобри своите умения и безопасност чрез естествени разговори и обратна връзка от хората 'в дивата природа'," Мета казва в публикация в блог.

Ключова част от изследванията на Meta при пускането на чатбота за обществеността е да помогне за разработването на мерки за безопасност за чатбота.

„Ние се развихме нови техники които дават възможност за учене от услужливи учители, като същевременно избягват учене от хора, които се опитват да подмамят модела безполезни или токсични реакции", се казва в него, като се позовава на по-ранни изследвания за автоматично разграничаване между полезни потребители и тролове.

Чатботът на Microsoft през 2016 г. претърпява злополуки публичната бета версия за Tay.ai показа точно какво може да се случи когато хората взаимодействат с чатбот, който може да бъде обучен как да казва ужасни и расистки коментари.

Meta предупреждава, че BlenderBot 3 също е в състояние да каже някои лоши неща. Изглежда, че това е основният неразрешен проблем на Meta, въпреки наличието на модел, който може да се учи от обратната връзка.

„Въпреки цялата свършена работа, ние признаваме, че BlenderBot все още може да каже неща, с които не се гордеем“, се казва в Страница с често задавани въпроси за BlenderBot 3.

„Това е още една причина да включим изследователската общност. Без директен достъп до тези модели, изследователите са ограничени в способността си да проектират стратегии за откриване и смекчаване."

Meta насърчава потребителите да докладват, когато чатботът каже нещо обидно. Той също така предупреждава, че ботът може да прави неверни или противоречиви твърдения. Чатботовете дори забравят, че са ботове и изпитват „халюцинации“, описанието на Meta за случаите, когато бот уверено казва нещо, което не е вярно.

„За съжаление да, ботът може да прави неверни или противоречиви твърдения. Потребителите не трябва да разчитат на този бот за фактическа информация, включително, но не само, медицински, правни или финансови съвети“, отбелязва той.

„В изследванията казваме, че модели като този, който управлява този бот, имат „халюцинации“, при които ботът уверено казва нещо, което не е вярно. Ботовете също могат да запомнят погрешно подробности от текущия разговор и дори да забравят, че са бот." 

Нарича се BlenderBot, защото предишните изследвания на Meta са установили, че чрез обучение на бот да "смесва" много разговорни умения подобриха представянето по-добре, отколкото когато тренирате бот да научи едно умение наведнъж време.

Google се стреми да подобри „фактическата основа“ на чатботовете и разговорния AI чрез LaMDA или „Езиковите модели за диалогови приложения“, които представен в средата на 2021 г. Google обучи LaMDA за диалог, като се стремеше тя да участва в свободни разговори. Той пусна LaMDA 2 на своята I/O конференция през май и предложи на изследователите приложението AI Test Kitch, за да позволи на другите да изпитат какво „може да е да имаш LaMDA в ръцете си“.

LaMDA попадна в светлината на прожекторите през юни след като инженерът на Google Blake Lemoine публикува публично документа „Is LaMDA Sentient?“, който той показа на ръководителите на Google през април. В него той предположи, че моделът може да е "съзнателен". Мнозина не са съгласни, че LaMBDA е достигнала това.

LaMDA е модел със 137 милиарда параметъра, чието разработване отне почти два месеца работа върху 1024 чипа Tensor Processing Unit на Google. Но Google не е пуснал LaMDA на никого, освен на собствените си инженери.

Meta казва, че BlenderBot 3 е модел за диалог със 175 милиарда параметъра, способен на разговор в отворен домейн с достъп до интернет и дългосрочен Това, че вече е публично достъпен, позволява на Meta да изучава възможностите си в по-разнообразна среда, отколкото може да се направи чрез изследване проучвания.

Мета отбелязва, че комбинира техники за машинно обучение, SeeKeR и Директор, за изграждане на разговорни модели, които учете се от взаимодействия и обратна връзка.

„Първоначалните експерименти вече показват, че колкото повече хора взаимодействат с модела, толкова повече той научава от него преживявания и толкова по-добро и по-безопасно става с течение на времето - въпреки че безопасността остава открит проблем", Мета бележки.