Чатбот със супер способности: Разглеждане на цели романи в рекордно кратко време
Anthropic, стартъп основан от бивши служители на OpenAI, постигна успех в разширяването на контекстното прозорче на своя чатбот Claude до 75 000 думи, което представлява значително подобрение спрямо съществуващите модели.
Разработчиците твърдят, че чатботът може да обработи цял роман за по-малко от минута.
Паметта често е пренебрегвано ограничение при чатботовете. Въпреки че езиковите модели, които са основа на тези системи, са обучени върху терабайти текст, количеството, което подобни системи могат да обработват по време на употреба, е доста ограничено.
За ChatGPT това са около 3000 думи.
Въпреки че има начини за обход на тези ограничения, те все още не са достатъчни. Но Anthropic успя значително да разшири контекстното прозорче на своя чатбот Claude – до 75 000 думи. Компанията посочва, че това е достатъчно, за да позволи на чатбота да обработва целия роман „Великият Гетсби“ веднъж.
За да тестват системата, Anthropic направи експеримент, при който редактираха едно изречение от романа и помолиха AI да забележи промяната. Това стана за 22 секунди, съобщава The Verge.
AI езиковите модели измерват информацията не чрез броя знаци или думи, а чрез токени – семантични единици, които не винаги съответстват на броя знаци. Тъй като думите могат да бъдат дълги или кратки, дължината им не винаги съвпада с броя на токените.
В това отношение контекстното прозорче на Claude надминава модела на OpenAI, като може да обработва 100 000 токена, в сравнение с предишните 9 000. Напълно функционалният модел GPT-4c може да обработва до 32 000 токена.
В момента новите функционалности на Claude са достъпни само за бизнес партньори на Anthropic, които се свързват към чатбота чрез API на компанията. Въпреки че цената все още не е известна, е вероятно да се е повишила значително, тъй като обработването на повече текст изисква по-големи изчислителни ресурси. Антропик продължава да изследва възможности за разширяване на функционалностите на Claude и подобряване на производителността му, с цел да предостави по-широк достъп до тези напредничави възможности в бъдеще.
