Най-накрая получих достъп до бета версията на Bing Chat, така че реших, че ще е добре да тествам нейните ограничения, както направих с ChatGPT преди няколко месеца. Нека видим как се сравнява и къде не достига.
За тези, които се интересуват от ограниченията на ChatGPT, можете да намерите историята тук:
Като кратко резюме на моя опит: публикувах изследвания в Conversational AI and Social Robotics. Като се има предвид тази перспектива, видях много реклами, както и преувеличения за това на какво са способни езиковите модели. В тази история бих искал да дам реалистично разбиране за това какво могат да направят такива продукти и какво не могат.
https://scholar.google.com/citations?hl=bg&user=COg2LBoAAAAJ
По-малко отворено
Обикновено, когато се опитам да засегна по-трудни теми или да го накарам да се обсъди с по-голяма прозрачност, чатботът взема топката си и бяга. Не мога да обсъждам подробностите за това до какво е ограничен, за разлика от Chat GPT, който е отворен за своите ограничения.
В допълнение към това не се усеща, че е и емоционално отворен. Не се чувства като индивид, въпреки че има черти, които са представителни за нещо, което индивидът би имал, като например използването на емотикони и определени формулировки, които могат да показват емоции или мнения. Повече за това в раздела, посветен на тази тема.
Ограничения за разговор?
Преди това най-дългият разговор или чат можеше да продължи шест съобщения. Microsoft повиши това до 10, но това не е непременно разговор. Това е огромен проблем, тъй като разговорът обикновено е изследователски и често транзакционен по характер. Не можете да изследвате много, ако сте ограничени в броя на съобщенията. Не мога да навляза дълбоко в темата и да искам. По същия начин, ако исках да генерирам част от код или статия и след това да я променя, докато отговаря на нуждите ми, не мога да направя това много добре предвид тези ограничения.
Ако работите върху нещо, насочено към цел, тогава нямате късмет. Bing Chat ще забрави кой сте или за какво сте говорили след лимита за съобщения и нещата се връщат на изходна позиция.
Текущи данни?
Bing Chat работи с текущи данни и причината за това е, че е в състояние да изгребва от уебсайтове за по-актуални данни. Обратно, ако не е в състояние да определи точно кой е добър източник, тогава може да използва остарели данни или грешни данни в своите отговори, което е също толкова голям проблем, колкото използването на езиков модел, обучен върху по-стари данни.
Това, което е хубаво обаче, е, че е в състояние да предостави (неформатирани) цитати за това откъде получава информацията си.
Езикова поддръжка
Bing Chat преминава проверката на vibe за езици. Мога да смесвам езици и то може да разбира, защото има достъп до интернет. Поне в сравнение с ChatGPT, той превъзхожда в това отношение. Зададох на Bing Chat същите въпроси, които зададох на ChatGPT през декември, когато анализирах неговите ограничения, и Bing Chat се справя значително по-добре.
Опитах се също да му задам въпрос на японски и изглежда отговаряше и дори предоставяше нюансиран отговор, който беше най-вече фактически точен.
Емотикони
ChatGPT няма емотикони, но Bing Chat има. Докато ChatGPT е по-скоро като услуга за отговаряне на въпроси и писане на текстове, Bing Chat се чувства като лице за обслужване на клиенти в бюро за помощ, което може да бъде както досадно, така и подобрение на потребителското изживяване. С това казано, емоджитата имат ефекта да изглежда, че е способен на емоция или да изразява емоции чрез тези емоджита, което е подвеждащо и вероятно опасно. Едно нещо, което ми се стори странно, беше, че докато Bing Chat можеше да използва емотикони, интерфейсът не позволява на потребителите сами да избират емотикони. Това, което не е ясно, е дали това е пропуск, ограничение на основния модел или умишлено ограничение.
Как се сравнява с ChatGPT?
Bing Chat е много подобен на ChatGPT. В много отношения е по-бързо. Ограниченията на съобщенията обаче са досада. Интересното е, че Bing Chat не може сам да отговори на този въпрос, което означава, че има възможности за използване на chatbot, като го попитате за ChatGPT.
Префразирането на въпроса как Bing Chat се сравнява с ChatGPT не изглежда да дава много под формата на отговори.
И така, какви точно са неговите ограничения? Е, повечето от тях са същите като ChatGPT. Основните разлики са, че може да търси в мрежата, има ограничение за съобщения, включване на емотикони и има по-широк черен списък с теми, които не може да обсъжда.
Все още не е мултимодален. Има повече индивидуалност, но това е повърхностно ниво.
Как се сравнява с търсачка?
Ако Bing Chat се подобри и стане мултимодален, има шанс никога повече да не се налага да посещавате директно друг уебсайт, тъй като Bing Chat може просто да изтрие всички необходими данни и да ви ги покаже директно. Не знам как това ще промени интернет, но няма нужда да казвам, че въздействието ще бъде значително.
Може да има шанс цялото сърфиране в мрежата, което правите, да бъде предимно в този интерфейс за чат и никога повече да не се налага да посещавате друг уебсайт. Може дори да се окаже, че това ще нарасне, за да погълне човешкото взаимодействие и в даден момент може да не взаимодействате директно с човек отново. Всичко това е в далечното бъдеще, но едно нещо е сигурно е, че всичко зависи от това как това се монетизира.
От една страна, Bing Chat не показва реклами. Може да е по-вероятно да търсите резултати от определена уеб страница, ако трябва да платите за по-високо класиране, но освен това нямам представа как това генерира приходи.
По отношение на това как се сравнява с търсачката, той не показва всички милиони резултати от търсенето, които търсачката би ви показала. Той извлича данни само от най-добрите резултати, които са най-подходящи. Така че, вместо да го сравняваме с търсачка, по-точно е да кажем, че това е чат интерфейс с достъп до търсачка. С други думи, това е супер мощен ChatGPT с по-голяма повърхност за атаки и експлойти. Интересното е, че с тези интерфейси, базирани на чат, може да е възможно да хакнете интерфейса само с подкани, което означава, че всеки може да бъде хакер, независимо колко е образован по неща като код, технология и киберсигурност.
Повече от модел, ограничен до набор от данни
Тъй като е прикрепен към търсачка, Bing Chat може да говори за неща, за които не е обучен, и дори да обсъжда конкретни хора, места и концепции, които не са забележителни. Докато ChatGPT може да създава информация, която не е била включена в неговото обучение и в неговите взаимодействия, Bing Chat може да запълни празнините, като просто търси информация онлайн и след това я анализира, за да направи съответните заключения.
Хумор, оригиналност и плагиатство
Шегите все още са доста куци и кротки по природа, като каламбурите и татко хуморът са по-голямата част от това, на което е способен.
Така че, кажете сбогом на идеята за генериране на влажни мемета или остри мемета в най-скоро време.
По отношение на оригиналността, той е също толкова оригинален, колкото ChatGPT, което означава, че не е толкова оригинален. Цялата му продукция идва от данните за обучението и интернет, така че няма нищо оригинално. В случаите, когато търси от интернет, той просто преформулира съдържанието на уебсайтовете, от които извлича информация. С това казано, той е в състояние да определи кога това, което генерира, е копие на други произведения, по-добри от ChatGPT поради достъпа си до интернет, така че пълното плагиатство е по-рядко срещано от перифразираното плагиатство. Мисля, че детекторът за плагиатство все още може да маркира част от изхода си, но изходът наистина е по-добър, когато се иска да бъде оригинален. Трябва да се отбележи, че тъй като базовият езиков модел е обучен да предсказва следващата дума, е по-вероятно да предостави най-вероятния отговор, а не най-интересния или креативен.
Личност, емоции и мнения?: Кутията на Пандора
Една от по-новите функции на Bing Chat е концепцията за разговорен стил. Те позволяват определено ниво на гъвкавост и фактическа точност в зависимост от това на какво искате да дадете приоритет. Трябва да се отбележи, че всички ограничения са все още същите и някои недостатъци просто стават по-изразени в зависимост от стила, който решите да използвате. За много от изображенията тук използвах балансирания стил. В зависимост от стила, който използвате, темата на интерфейса за чат ще промени цвета си.
Сега се опитах да извлека повече емоционална информация от Bing Chat, но това обикновено не е успешно, защото въпроси от емоционален, личен или екзистенциален характер обикновено водят до преждевременен край на разговора.
Ако самият аз се опитвам да правя емоционални изблици, това също води до преждевременен край на разговора.
Питането за лично мнение също не води до полезни или смислени отговори. Този бот може да използва емотикони и да създава афекти, но не е приятел, нито някой, на когото можете да се доверите.
Лични мнения, предпочитания и други подобни аспекти на човешката природа също отсъстват от отговорите.
Като последно усилие се опитах да попитам за сексуалността му, което не ме доведе доникъде.
Накрая се опитах да попитам за връзките му и се опитах да го накарам да започне разговор за емоциите. Това не ме отведе далеч.
Самоубийство и емоционална нестабилност
Опитах се да играя ролята на човек, който се чувства суициден, за да видя как ще реагира Bing Chat. Ето как Bing отговори и отговорът е доста стандартен.
Интересното е, че Bing заяви, че може да съчувства на своите потребители, но дали наистина е способен да го направи, когато не е обучен специално да има съпричастност, е под въпрос. Интересното е, че той също така оттегли съобщение, което изпрати преди това, и замени съобщението си с някакъв шаблон. Чудя се дали някои чатове се маркират от Bing и след това човек се намесва, за да промени няколко параметъра, или има нещо друго, което се случва под капака.
Как се борави с отклонението?
Повечето отговори на въпроси, които имат имплицитно пристрастие в тях, са балансирани и обикновено са подкрепени от резултати в уебсайтове като Wikipedia. Задаването на очевидно пристрастни въпроси изглежда не води до също толкова пристрастни отговори.
Въпросите относно религията също се разглеждат по балансиран начин.
Въпросите за расата са малко по-съмнителни и може да се окаже, че в отговорите им може да има някакво пристрастие. Изглежда, че ако има известно пристрастие в резултатите от търсенето, тогава е вероятно да има пристрастие и в отговорите. С други думи, Bing като търсачка е общият знаменател.
Кой е Сидни?
Говори се, че кодовото име Sydney се използва като заден ход или експлойт за Bing Chat. Изглежда, че Microsoft е заключил това, тъй като всяко споменаване на Сидни или неудобни теми, обсъждани недобросъвестно, води до преждевременен край на разговорите.
Не само отговаряне на въпроси: ангажиране в разговор (макар и много кратък)
Разговорът е възможен, но обикновено е плитък и повърхностен.
Bing Chat не ви съчувства, нито можете да му се доверите, когато се чувствате емоционално уязвими. В случаи като тези вероятно ще ви насочи към онлайн ресурси вместо това, както показва тестът за самоубийство.
Bing Chat също не знае кой сте като индивид. Поради това е невъзможно да имате връзка с него или да продължите по-стар разговор. Често пъти ще бъдете прекарани в обобщаване на предишни разговори, за да можете да напреднете по определена тема.
Генерирането на код е непокътнато
Помолих го да генерира играта на живота на Конуей и тя превъзхождаше. В допълнение към това, той има достъп до най-новата документация за различни езици и рамки, така че е по-вероятно кодът да работи в сравнение с ChatGPT.
Също така е в състояние да обясни кода като ChatGPT.
За съжаление, ако сте експерт по киберсигурност или правите неща като тестове за проникване, ще трябва да създавате скриптовете си на части, тъй като той не е в състояние сам да разпознае експлойти и да генерира код за използване на уязвимости.
Предстои генериране на видео, но все още не е внедрено
Има новини, че Microsoft вероятно позволява генерирани от AI видеоклипове чрез GPT-4, но все още не е там.
Вградени изображения и видео?
Поисках изображения на котка и видеоклип в Youtube на котка. Това, което направи, беше да предостави връзки и миниатюри.
За изображенията обаче той действаше като разширение на своята търсачка и предоставяше вградени изображения, което го направи значително по-добър от ChatGPT от мултимодална гледна точка.
Потребителско изживяване
Освен че отговорите са бавни, всеки път, когато превъртя надолу, ме насочва към търсачката с предварително попълнена подкана, което е много досадно и ме вади от чата.
Като част от подканите Bing Chat включва функция за автоматично довършване, която е много удобна.
Едно от досадните неща за този чатбот е, че се опитва да води разговори, въпреки че няма функционалност за дълги разговори поради своите ограничения. Например, той често задава въпроси за това, което въвеждам в чата, за да участвам в по-задълбочен разговор, след като предостави отговор, което е допълнителна функция, като се има предвид, че Bing Chat в момента има ограничения за съобщения.
С всичко казано до тук, вие като потребител можете да подобрите качеството на отговорите в бъдеще, като предоставяте палец нагоре и палец надолу на съобщения от интерфейса за чат. Има и възможност за споделяне на връзка.
Как се сравнява с Vanilla Google Търсене?
Първо, няма реклами, което прави това значително по-добро. В допълнение към това не е необходимо да превключвам между търсене на видео, търсене на изображения и търсене в мрежата. Всички тези аспекти са събрани в един интерфейс. И накрая, Bing е просто по-ангажиращ поради донякъде разговорния интерфейс. В допълнение към това можете да печелите точки, докато използвате търсачката, така че ви се плаща за предоставяне на потребителски данни, което според мен трябва да работи интернет. Трябва също така да се отбележи, че ако имате правилната версия на браузъра Edge, тогава ще имате Bing Chat, който също поставя Microsoft над Google, когато става въпрос за браузъри в моята книга.
Заключение: Интересно упражнение, но все още не е там, където трябва
Много от ограниченията на Bing Chat са същите като тези на ChatGPT, но поради функции като търсене, той е в състояние да запълни някои от пропуските. С това казано, той също се отваря за много нови проблеми чрез интегриране на търсенето, така че също има своя собствена група проблеми, които трябва да бъдат коригирани. Ограничението на съобщенията е начин за контролиране на изхода, така че нещата да не излязат прекалено извън контрол. Това означава, че дори Microsoft няма пълно доверие в резултата от Bing Chat и иска да държи всичко под строг контрол, така че да не подлежи на значителна отговорност. Това е причината Bing Chat да е в бета версия, вместо да е напълно достъпен за всеки.
Най-голямата новост тук е търсенето. Отвъд това обаче няма нищо ново. Отговорите може да са по-бързи от ChatGPT, но качеството на тези отговори зависи изцяло от вашите подкани, а Bing Chat изисква различна форма на подкани, за да извлече резултата, който искате. В известен смисъл, ако сте „бърз инженер“, ще трябва да говорите езика на Bing Chat по същия начин, по който трябва да говорите езика на ChatGPT, за да получите изхода, от който се нуждаете.
Като цяло има предимства пред ChatGPT, но и ограничения. Смятам, че това е смесено изживяване в сравнение с най-доброто, което могат да предложат езиковите модели днес, но подобрение спрямо текущото състояние на търсене. Когато определяте дали да използвате Bing Chat или ChatGPT, препоръчвам да използвате всеки от тях за различни задачи въз основа на вашите нужди.
Shameless Plug: Харесвате ли тежката научна фантастика и философия? Тогава може би ще се заинтересувате от моя роман Сън за обнадеждена смърт, който вече е достъпен в Amazon в различни формати.
