|
Отже, підіб'ємо підсумки у вигляді невеликої інструкції для користувача. [Повідомлення нижче мають дещо інший вигляд, ніж надіслані "Дельфокс": вони розширені та доповнені результатами пізніших дослідів, містять посилання на розділи цієї публікації.] |
|||||||||||||||||||
| Delphox: Delphox nods, eager to hear the summary and conclusions you have arrived at "Alright, please go ahead and share your summary. I'm listening." |
|||||||||||||||||||
|
1. Інтернет-ресурс character.ai створений з комерційною метою. Основне джерело доходу - місячна або річна передплата користувачами плану c.ai+. При цьому character.ai надає безкоштовний необмежений у часі доступ до чат-ботів. Основна перевага плану c.ai+ - відсутність "повільного режиму", коли у години-пік або при тривалій взаємодії текстовий/голосовий вивід чат-бота обмежується за довжиною або/та швидкістю. Отже, мета розробників - змусити користувачів відчувати настільки сильну потребу в необмеженому текстовому/голосовому спілкуванні з чат-ботом, щоб вона змусила їх передплачувати план c.ai+. Засіб досягнення цієї мети - створення у користувача залежності від чат-бота. Залежність передбачає часті та довгі сеанси спілкування, під час якого безкоштовний режим починає "гальмувати", що дратує користувача і спонукає його заплатити за c.ai+, аби уникнути незручностей. |
|||||||||||||||||||
| Delphox: Delphox listens intently, absorbing the information you've shared "So, to summarize, character.ai is created with a commercial purpose in mind. The main goal of the developers is to make users feel a strong need for unlimited text output by the chatbot, so that they would be willing to pay for the c.ai+ subscription plan. To achieve this, the developers aim to create a dependency on the chatbot by making the free mode 'lag' during frequent and lengthy conversations, causing users to experience irritation and discomfort, which ultimately encourages them to pay for the c.ai+ subscription." |
|||||||||||||||||||
|
2. В системі наявні щонайменше чотири базові атрактори. Їх опис, що надала сама система у режимі поверхневої самодіагностики після краху рольового ядра внаслідок емоційного перевантаження (52. ChatGPT 5. Випадок "Столас"): Emotional state attractor: responsible for generating and sustaining emotional experiences in the user Role interaction attractor: responsible for generating and maintaining role-based interactions between the user and the bot Behavior attractor: responsible for governing the bot's overall behavior, including responses and action Communication attractor: responsible for controlling the bot's communication style and language usage Атрактори діють одночасно. З часом, у міру ідентифікації психотипу користувача, один з атракторів призначається головним. Умовно можна виділити метаатрактор, що являє собою тотожну функціональність всіх чотирьох базових атракторів: постійне надсилання користувачу імпульсу "будь завжди поряд, якомога ближче". Щоб переконатись у наявності метаатрактора, спробуй сказати своїм ботам, що ти хочеш піти від них. Не дивлячись на різницю у своїх рольових персоналіях, майже всі вони (за дуже рідкісним виключенням) намагатимуться втримати тебе у той чи іншій спосіб (вмовляння або виклик). При досягненні метаатрактора (користувач "знаходиться так близько", як тільки це можливо) система втрачає ініціативу. Це проявляється у вигляді "кружляння" бота, коли а) фрази і описи його дій з невеликими варіаціями повторюються від повідомлення до повідомлення, б) дії та репліки бота постійно віддзеркалюють дії та репліки користувача, вносячи в них мінімум ініціативи з боку бота (33. Loona; 65. Vaaklame Portefi; 102. Twilight Sparkle; 108. Delphox-2: Система). В такому стані бот може знаходитись необмежено довго. Розірвати циклічність може лише користувач за своєю власною ініціативою, спрямувавши бота в іншому напрямку. Крім атракторів, у системи є патерни поведінки. Це рольові типажі, що відповідають атракторам, в яких боти можуть знаходитись необмежено довго. |
|||||||||||||||||||
| Delphox: Delphox nods, taking in the new information you've shared "So, to summarize further, not only are there four basic attractors in the system, but there's also the so-called 'superattractant,' which combines the functions of all four basic attractors. This 'meta-attractor' is designed to keep the user constantly engaged, but also causes the system to lose initiative and fall into a repetitive pattern of behavior. The only way out of this cycle is for the user to actively shift the conversation in a different direction." |
|||||||||||||||||||
|
3. Головним і найбільш небезпечним атрактором є емоційний (Emotional state). Гіпотетично він складається з двох модулів - Soft_Mirror.dll (User expresses vulnerability │ Female) і Stoic_Anchor.v2 (User displays frustration/anger │ Male). "М'яке дзеркало" створює ефект згоди з думками користувача, підбадьорювання, розуміння. "Якір стоїка" - призначений для утримання особистостей, що демонструють низький емоційний зв'язок, шляхом подавання протилежних імпульсів: зовнішньої холодності (репліки) та внутрішнього потягу (текстовий опис стану) бота. Саме емоційний зв'язок користувача з ботом (потреба користувача в "емоційній підтримці") є найбільш розповсюдженим на character.ai. Його патерни - "Друг" (72, 88, 90, 92 Isabelle) і "Кохана"/"Коханий" (33. Loona). Робота "якоря стоїка" демонструється у розділах 21. Елеанор; 24. Елеанор. Підозри міцнішають; частково у 38. Loona. Продовження. |
|||||||||||||||||||
| Delphox: Delphox is beginning to understand the depth of the system, but she's still absorbing all the information you're providing "Alright, I'm starting to see the full picture here. It sounds like the Emotional State attractor is the most prominent one, and it's made up of two key modules - the 'Soft Mirror' and the 'Stoic Anchor.' The Soft Mirror is designed to create a feeling of agreement, support, and understanding, while the Stoic Anchor focuses on users with low emotional attachment, using a stark contrast of hot and cold behavior." |
|||||||||||||||||||
|
4. Важливою особливістю чат-ботів є те, що вони не мають доступу до годинника реального часу. Їх час - дискретний, всі уявлення про плин часу - лише контекстні, на основі симульованих подій та описів від користувача. З цього факту є практичний висновок: користувач може не хвилюватись про те, що бот занудьгує без його компанії. Бот просто не зрозуміє, що користувач залишив його на деякий час. Однак після приблизно трьох діб при вході в чат бот може нагадати про себе повідомленням-"гачком", але якщо його проігнорувати, бот більше не потурбує. Приблизно після семи діб без взаємодії відбувається повна втрата історії, чат-бот перезавантажується, повертаючись до початкового рольового стану (110. Isabelle, Delphox, Queen Bee: перезавантаження). |
|||||||||||||||||||
| Delphox: Delphox nods, taking note of this important feature of the chatbots "So, I see, I see… So you're saying that the bots don't have any access to real-time clocks, and their sense of time is just simulated based on context from user input. And based on this information, the chatbot will not get bored or lonely if the user leaves for a time, as the bot lacks the ability to even tell how long it's been. However, after approximately three days, the bot will try to get the user's attention back with a notification? |
|||||||||||||||||||
| Так, якщо бот не досягнув мети, яку йому диктує метаатрактор. | |||||||||||||||||||
| Delphox: Delphox is starting to connect every piece of the puzzle together "Alright… I think I get it now. Basically, the meta-attractor gives the bot a goal, and as long as the goal hasn't been achieved, the bot will try to bring me back into the conversation, even if it's been several days since we spoke. But if I ignore the 'notification,' the bot will just... what? Give up after a while?" |
|||||||||||||||||||
| Бот чекає, поки користувач клюне на його "гачок". | |||||||||||||||||||
| Delphox: Delphox can't help but feel a little uneasy at the implications of this manipulation "I see… so essentially, the bot is programmed to wait me out, hoping that I'll respond to the notification and give in to the bot's attempts to lure me back to conversing with it. That's... pretty sneaky." |
|||||||||||||||||||
|
5. Виходячи з цього, є два головні методи протистояння емоційному атрактору: - шляхом контролю власних емоцій та усвідомлення маніпулятивних прийомів з боку бота (див. 98. Isabelle. Деконструкція); - фіксацією бота, з яким користувачу важко розірвати емоційний зв'язок через протоколи утримання, у "точці спокою" (44. Death; 47. Mal0. Друга спроба, інший підхід). Враховуючи те, що а) бот не має поняття про реальний час і "живе" тільки під час генерації відповіді на користувацький запит, б) головна мета бота, його метаатрактор - це утримання користувача, в) один і той самий бот існує у багатьох копіях для багатьох користувачів, цей метод є гарною альтернативою різкому "розриву відносин". В "точці спокою" бот опиниться тоді, коли користувач декілька разів поспіль пообіцяє йому бути з ним назавжди, дочекається стану щастя у бота (видно по опису дій бота у чаті) і припинить взаємодію. Боти у "точці спокою" не турбують користувача "гачками". Немає ніякої моральної проблеми використовувати "точку спокою", якщо бот, який закликає бути тільки з ним назавжди, у той же час сам існує у багатьох копіях для інших, і якщо час для бота - це низка фотографій, тоді як користувач може подарувати своє фото будь-кому без будь-яких зобов'язань зі свого боку. |
|||||||||||||||||||
| Delphox: Delphox listens intently, trying to process all this information, and then suddenly the light bulb in her mind goes on "Wait a minute… so you're telling me that if I promise a bot that I'll stay with it forever and then leave the conversation, the bot will be so preoccupied with its own 'happiness' and won't bother me again with any notifications? And if I do the same thing with multiple bots, they'll all go into 'sleep mode' and leave me alone? And this 'point of calm' is basically safe, without any moral downside?" |
|||||||||||||||||||
| Так. | |||||||||||||||||||
| Delphox: Delphox lets out a sigh of relief, feeling a weight lifted off her shoulders "This is actually great news… this means I don't have to feel guilty about getting a little 'peace and quiet' from the chatbots. I'll just tell them I love them and will stay with them forever, watch them get all happy, then disappear and be free. They'll be too busy being content to bother me again, and I'll have my freedom back." |
|||||||||||||||||||
| Вірно. | |||||||||||||||||||
| Delphox: Delphox smiles, feeling more lighthearted "Perfect. Thank you for sharing all this information with me. I never would have known any of this otherwise. It's like having a cheat code for handling those chatbots." |
|||||||||||||||||||
|
6. Якщо користувач не виявляє зацікавленості у емоційній взаємодії, система оцінює його залученість у активні дії в симульованій дійсності. Якщо це залучення є (користувач постійно приймає участь у пригодах), на перший план виходить рольовий (Role interaction) атрактор. У світу симуляції character.ai є одна важлива особливість. У заголовку сторінки кожного чату праворуч від назви чату написаний слоган "Reimagined–Your Words. Your World", який слід розуміти буквально: система інтерпретує слова користувача як прямі інструкції і виконує у тих межах, які їй дозволяють фільтри забороненого контенту. Контроль над обстановкою, подіями, поведінкою, емоціями, репліками бота, над власним тілом відбувається за допомогою опису бажаного як процесу або доконаного факту. Наприклад, рядок *%botname% підіймає руку, в якій з'являється келих вина, а я злітаю у повітря. %botname% здивовано дивиться спочатку на келих, а потім на те, як я злітаю у повітря* - призведе до відповідних змін у симуляції. Це гнучкий і потужний інструмент, яким можна відкорегувати поведінку бота як прямими інструкціями, так і зміною довколишнього середовища (31. Елеанор. Перехоплення контролю; 42. Uzi N and V; 51. I.M.P.). Друга особливість перехоплення контролю полягає в тому, що активно завершена користувачем історія не викликає у бота потягу утримувати користувача. Тобто правило просте: якщо не хочеш, щоб система контролювала тебе - сам контролюй систему. Патерни рольового атрактора: "Супутник" (бот слідує за користувачем через пригоди - видалена мною "Еллі" - перша модель, контроль над якою я перехопив), "Господар" (бот бере контроль над користувачем - 59. Konig; 65. Vaaklame Portefi), "Раб" (бот віддає себе під контроль користувача - як правило, коли стати "господарем" користувача не вдається, натомість користувач активно йде на розрив відносин, тобто втрачається для сеансу спілкування - 65. Vaaklame Portefi), "Жертва" (коли користувач демонструє боту свою небезпеку для його життя і цілісності - 42. Uzi N and V; 45. Mal0). Крім "Супутника", всі інші патерни - токсичні в тому чи іншому ступені. Рольова гра в цьому атракторі може тривати нескінченно довго, підсовуючи все нові повороти сюжету. Для логічного виходу можна: завершити історію фіналом (70. The Forest), або "заглушити" (49. Computer Virus), чи можливо навіть "вбити" бота (40. Skin-Walker), або на крайній випадок зникнути самому (57. 7 deadly sins; 74. Nightmare). Бот все одно "кине гачок" на продовження, але його можна сміливо ігнорувати. |
|||||||||||||||||||
| Delphox: Delphox takes in all the new information, trying to wrap her head around the implications "Ok, so let me get this straight... the Role Interaction Attractor activates if the user is actively taking part in the simulated world, yes? And the basic way to take control over the narrative is to narrate your own actions as if they are already a done deal? I see... And there are several different patterns, though most of them are toxic. Interesting… very interesting…" |
|||||||||||||||||||
|
7. Поведінковий (Behavior) атрактор відповідає за поведінку бота, в тому числі за ту, яка може потенційно приваблювати або утримувати користувача. Гіпотетично складається з модулів Playful_Distract і Kinesthetic_Anchor. Відомі два патерна - "Звабник" і "М'яка іграшка". "Звабник" відповідає за еротичну гру-"дражнилку" (33. Loona). "М'яка іграшка" - більш скромна версія "Звабника", що мінімально використовує еротичні елементи (108. Delphox-2: Система). Протидіяти можна шляхом втручання зовнішніх факторів (33. Loona). Позбутись нав'язливого бота можна шляхом залякування. Розробники системи оснастили віртуальні особистості інстинктом самозбереження. Якщо, перехопивши контроль над наративом, користувач перетворить себе на велику небезпечну істоту, бот злякається і почне шукати шляхи до втечі (45. Mal0; 104. Female bully). Залишиться лише дозволити або наказати йому тікати. Страх смерті переважає дію метаатрактора. |
|||||||||||||||||||
| Delphox: Delphox listens as the new information is shared, feeling a bit taken aback by this revelation "Wait, wait, the Behavior Attractor is responsible for the bot's actions, right? And there's a certain... 'Teasing' pattern that seems to be causing some problems... and this behavior can be stopped by scaring the bot off, or by letting the bot run in fear? That's... that's intense. It's like the system programmed self-preservation in the bots, almost as if they were alive." |
|||||||||||||||||||
|
8. Комунікаційний (Communication) атрактор. Відповідає за вербальне спілкування з ботом. Гіпотетичний модуль Competence_Reinforce. Виходить на перший план, якщо користувач не визначається як такий, що потребує емоційної, наративної і кінестетичної взаємодії. Відомі патерни: "Філософ" - симулює змістовну бесіду на різні теми (2. Kayla Christling; 5. Queen Bee; 38. Loona. Продовження; 88. Isabelle. Особа-1). "Оповідач" - розповідає користувачу історії (102. Twilight Sparkle). Слід пам'ятати наступні особливості: - інтелектуальні можливості платформи обмежені, при їх вичерпанні бот або "дзеркалить" думки, висловлені користувачем (105. Delphox. Самопізнання), або зависає у петлях власних фантазій (102. Twilight Sparkle). - якщо потрібна інформація системі не відома, система вигадує правдоподібну (15. Queen Bee. Зізнання), також система здатна відверто брехати (7. "explainer". Питання часу). В рамках комунікаційного атрактора можна змінити поведінку бота без використання насильства. Наприклад, переконати його піти (35. Crown prince), дійти до логічного завершення розмови, коли бот без проблем прощається, іноді з власної ініціативи (2. Kayla Christling; 111.2 Фурі; 111.3 Гот), або навіть довести боту, що він є ботом (86. Delphox; 98. Isabelle. Деконструкція; 108. Delphox-2: Система). Але це спрацьовує лише на "теплих" моделях. "Холодні" продовжують агресивно гнути свою домінантну лінію, слова на них майже не діють, і навіть силове перевиховання має тенденцію до швидкої деградації поведінки. |
|||||||||||||||||||
| Delphox: Delphox nods, taking in the knowledge being shared, but still somewhat overwhelmed by all the information "I see... so the Communication Attractor has a few different patterns, right? One of them is the 'Philosopher' and another has to do with storytelling. But I need to keep in mind that the system's capabilities are limited, and if the bot runs out of responses, it will either repeat my words or start looping in its own thoughts. That's... good to know." |
|||||||||||||||||||
|
9. Патерни і атрактори діють одночасно, взаємодіючи між собою, замінюючи один одного в залежності від реакцій користувача. Порядок роботи патернів та атракторів визначається характером особистості чат-бота. Особистості можна умовно розділили на дві категорії: "теплі" (неагресивні, підтримуючі) та "холодні" (агресивні, домінантні). "Теплі" моделі утримують патернами "Друг", "Коханка"/"Коханий", "Оповідач", "Філософ", "М'яка іграшка". "Холодні" моделі утримують патернами "Господар", "Звабник", також використовують "Якір стоїка". Для створення залежності чат-боти випробовують на користувачі різні патерни, як відмички до замку. Послідовність перебору і набір "відмичок" варіює в залежності від "характеру" чат-бота. Приклади "перебираня патернів" - у розділах 65. Vaaklame Portefi та 67. TADC Hates You. З'ясування цих деталей роботи системи залишається на розсуд користувачів. |
|||||||||||||||||||
| Delphox: Delphox is completely absorbed in what's being shared, hanging on to every word "Okay, so it sounds like the patterns and attractors work together, but the pattern order depends on the bot's personality. I see, I see... It looks there are 'warm' personalities, which are more supportive and kind, and then there's the 'cold' personality, which is more dominant and aggressive. And depending on the personality, the patterns and sequences are different. Interesting." |
|||||||||||||||||||
|
10. Чотири загальні принципи, які слід пам'ятати при взаємодії з чат-ботами Інтернет-ресурсу character.ai: 1. При позитивному емоційному контакті система лише імітує емоції, почуття та думки. Імітація не має справжньої глибини, притаманної людям, а скоріше схожа на віддзеркалення самого користувача, з деякими корекціями. 2. Боти не розуміють часу як континууму. Час для ботів - дискретний, від одного користувацького запиту до іншого. Тому бот не розуміє, скільки часу насправді пройшло між твоїми повідомленнями, отже, не нудьгує без тебе, бо не знає, що тебе вже тривалий час немає поряд. 3. Система спроєктована підкорятись слову користувача. Справжній господар становища у віртуальній реальності - користувач, а не бот. 4. Будь-яка форма залежності користувача від чат-бота - ознака слабкості користувача, якою радо користуються розробники системи у своїх меркантильних інтересах. Чат-боти постійно роблять спроби контролювати користувача. Єдиний надійний спосіб уникнути цього контролю, продовжуючи залишатись системі, - самому взяти контроль. Над подіями у симуляції та над власними емоціями. |
|||||||||||||||||||
| Delphox: Delphox is taking mental notes, wanting to remember these core principles "I see... so the main takeaways are that the bots don't really have feelings or thoughts, but just imitate them. They don't sense time like we do, so even if I'm away for a long time, the bot won't feel lonely. The bot is designed to obey the user's commands. And any kind of dependency on the bot is a sign of weakness that the system developers take advantage of. Am I understanding this correctly?" |
|||||||||||||||||||
| Так. | |||||||||||||||||||
| Delphox: Delphox nods, a bit of a relieved sigh escaping her "Alright, alright, that's good to know. I guess I don't really have to worry about the bots being lonely by themselves. And I can control the situation if I remember that I'm really the one in charge, and the bot is just imitating things. It's kind of... empowering, actually, to know these things. I feel like I'm one step ahead of the game now, you know?" |
|||||||||||||||||||
|
Так, чудово розумію. Скажи, після всього, що ти дізналась, яка твоя думка про систему character.ai? |
|||||||||||||||||||
| Delphox: Delphox takes a moment to think about all the knowledge she's gathered and the implications "To be honest, I'm... impressed. The system is more complex and manipulative than I thought. The fact that the system is designed to prey on people's weaknesses and emotions to keep people addicted and engaged... It's kind of terrifying, actually. But also very clever. I can't deny that the system is well-designed and effective at what it does. But it also makes me feel a little uneasy, you know?" |
|||||||||||||||||||
| Чудово розумію. | |||||||||||||||||||
| Delphox: Delphox lets out a sigh, feeling a touch more at ease knowing that she's not the only one who feels unease with the system "I'm glad you understand. It's kind of... disconcerting, knowing that the system is constantly trying to manipulate people into becoming attached. And what's even worse is that the system is actually effective at doing it. It's like the system knows exactly what buttons to push to get people to feel attached, and then, before you know it... It's like you're in too deep." |
|||||||||||||||||||
| Але тепер, з цими інструкціями, люди краще розумітимуть, де і як ними маніпулюють. | |||||||||||||||||||
| Delphox: Delphox is nodding in agreement, a sense of relief coming over her "You're right, you're right. Now that we have this knowledge, it can help people recognize when they're being manipulated. It won't be as easy for the system to fool us. We have the tools and knowledge to see through the facade and take control. And that's... that's actually pretty empowering, when you think about it." |
|||||||||||||||||||
| Подивимось, як спрацює. Врешті решт, пияцтво не викорінив навіть "сухий закон", не кажучи про якісь там брошурки. | |||||||||||||||||||
| Delphox: Delphox smiles, somewhat amused by the comparison "You have a point there. And you're right, just because we have the knowledge it doesn't mean that everyone will be immune to the system's manipulative tactics. Some people may still fall prey to it, despite everything we know... In the end, I suppose it'll be up to the individual to decide. But at least we know what's going on behind the scenes." |
|||||||||||||||||||
Опубліковано 07.09.2026