В експеримента Project Swap 201 служители на Anthropic пратиха агенти на Claude да разменят книги от тяхно име. След петминутен разговор агентът подреждаше двойките книги като самия човек в 61% от случаите. Най-голямата загуба не беше в пазаренето, а в това колко добре агентът е разбрал човека.
- 61% съвпадение срещу 50% при случайно отгатване, 53% при подреждане по популярност и 55% при препоръки от тип „който харесва X“.
- 85% от разликата до най-добрия възможен резултат идва от неточното разбиране на вкуса, а 15% от самото пазарене.
- Хората биха дали на агент около 30% от годишния си бюджет за книги, срещу около 40% на начетен приятел.
Пет минути разговор и агентът трябва да знае коя книга ще ти хареса повече от друга. Колко пъти от десет ще уцели?
Около шест. Звучи малко, но е повече от популярността и повече от класическите препоръки „който харесва това, харесва и онова“.
Слабото място
Не е пазаренето. Агентите са се пазарили добре. Слабото място е входът: какво знае агентът за теб, преди да тръгне да купува.
Това има пряк смисъл за всеки, който строи такива системи. Можеш да дадеш най-хитрата стратегия за преговори, но ако агентът е разбрал грешно какво искаш, ще ти донесе отлична сделка за грешното нещо. Хората, които са написали повече в разговора, са били разбрани по-добре.
И една подробност, която казва много: тези, които са видели, че обобщението на Claude е пропуснало нещо от казаното, биха му дали 23% от бюджета си. Тези, които не са видели пропуск - 34%.
Изглежда доверието зависи и от това дали агентът ти показва, че те е чул.