У ИИ есть лимиты, и они ломают работу незаметно

Сегодня у меня встала работа над задачами. Ничего не сломалось и не пропало —

просто мои ИИ-помощники перестали брать задачи в работу. Я полез разбираться и нашёл причину,

о которой раньше даже не думал.

Что случилось

У меня есть цифровые помощники: одни пишут тексты, другие проверяют страницы сайта,

третьи собирают данные. Все они работают не сами по себе, а через ИИ-модели — как через

внешнюю службу. Задачу они не выполняли, а в отчёте было сухо: «ошибка, исполнитель недоступен».

Первое, что приходит в голову: сломался код, что-то отвалилось. Я начал проверять

и оказалось, что код в порядке. Помощники просто не могли запуститься — им не хватало

лимита.

Лимит, о котором я не знал

Оказалось, у ИИ-моделей лимит считается не в запросах, а в токенах. Токен — это

примерно кусочек слова. Когда помощник берёт задачу, он отправляет модели всё:

свои инструкции, правила, контекст, саму задачу. У моих помощников инструкции подробные —

в сумме набегало около двенадцати с половиной тысяч токенов.

У бесплатного канала, который я подключил, лимит был восемь тысяч токенов в минуту.

То есть помощник не успевал даже поздороваться: его собственные инструкции не влезали в отведённую

рамку. В отчёте это выглядело как «модель недоступна», хотя модель была полностью рабочей.

Почему это важно понимать каждому

Я не программист, и, честно говоря, год назад просто не заметил бы этого. Но вывод тут не про код, а про

подход:

• бесплатное ≠ безграничное. У каждого бесплатного канала свой потолок — и он почти всегда

измеряется в токенах и минутах, а не в «количестве запросов»;

• чем подробнее инструкции, тем больше расход. Хорошо прописанные правила делают работу точнее,

но занимают место в каждой отправке;

• причина сбоя редко лежит там, где кажется. «Не идёт» обычно означает «не влезает в лимит»,

«кончилась квота» или «не хватает прав» — а не «сломалось».

Что я с этим сделал

Перестал решать это «на глазок». Теперь у меня три вещи, которые я советую любому,

кто строит что-то на ИИ:

1. Смотреть на лимиты до постройки, а не после поломки. Считать, сколько занимают

инструкции и контекст, и сравнивать с тем, что даёт канал.

1. Держать запасной канал. Когда один упирается в потолок, работа продолжается на другом.
2. Считать деньги и квоты, а не только запросы. У одного канала это токены в минуту,

у другого — количество операций в сутки, у третьего — часы расшифровки. Это разные единицы,

и путать их дорого.

Урок дня

Инструмент может быть полностью исправен и всё равно не давать результата. Разница между «сломалось»

и «упёрлось в лимит» — это разница между ремонтом и настройкой. Первое я искал час,

второе занимает пять минут, если знать, куда смотреть.

Завтра разберу ещё один случай из этой же серии — теперь про данные, которые чуть не потерялись

потому, что резервные копии «настраивались», но не делались.

*Это заметка из серии «Учусь»: я не пишу теорию — описываю то, что реально произошло в работе,

вместе с ошибками.*