Все запросы платные
Все инструменты ApiMonster завязаны на наш аккаунт OpenAI и оплата за запросы идет по тарифам OpenAI. Для нас это не бесплатно.
Использование нашего аккаунта убирает необходимость обходить трудности регистрации своего аккаунта OpenAI.
Поэтому каждый запрос в ChatGPT через любой инструмент ApiMonster дополнительно списывает с баланса стоимость запроса.
Текущую стоимость уточняйте в тарифах.
При желании оптимизировать расходы, можно подключить свой аккаунт ChatGPT, но это имеет смысл только на значительных объемах данных, когда сумма экономии станет существенной, а не 1000 руб/меc.
Ограничения по токенам
В ChatGPT нельзя закинуть текст любого размера. У каждой модели свои ограничения на количество входящего текста выраженное в токенах.
10000 токенов – это текст одного звонка
200 000 – 30-40 звонков
В случае превышения будет ошибка похожая на данное сообщение
Как обойти ограничения?
Используйте подходящую модель, например gpt-4o-mini, вместо gpt-4.
Делайте анализ в 2 этапа.
Что бы получить аналитику по звонкам за месяц (где не хватит токенов), можно делать аналитику по каждому звонку и складывать результат в CDP – https://apimonster.ru/connector/service/cdp/.
Цель – превратить текст в 20000 токенов в выжимку на 2000 токенов.
Далее уже можно накопить и анализировать результаты за 7/14/30 дней, уложившись в лимиты по токенам.