| Embedding sim. | 1 |
|---|
| Entity overlap | 1 |
|---|
| Title sim. | 1 |
|---|
| Time proximity | 1 |
|---|
| NLP тип | other |
|---|
| NLP организация | Cloud.ru |
|---|
| NLP тема | developer tools |
|---|
| NLP страна | |
|---|
Открыть оригинал
Привет! Меня зовут Андрей, я фронтенд-разработчик в Cloud.ru . Я работаю с LLM API каждый день. И каждый день отправляю в контекст структурированные данные: списки товаров, логи, пользователей, метрики. Все это — JSON. И все это — деньги.
В какой-то момент я посчитал, сколько токенов из моего промпта уходит на фигурные скобки, кавычки и повторяющиеся ключи. Оказалось — много. Слишком много.
Потом я попробовал TOON. Вот что из этого вышло.
Читать далее