Anthropic вводит Prompt Caching для чат-бота Claude, сокращая затраты и время отклика.

Anthropic вводит новую функцию, Prompt Caching, для своего чат-бота Claude, сокращая затраты до 90% и время отклика в два раза. Эта функция позволяет разработчикам хранить подробные инструкции, примеры ответов и соответствующую информацию в интересах сложных проектов и предприятий всех размеров. В настоящее время на публичной бета-фазе с помощью API Anthropic Caching повышает эффективность таких видов использования, как расширенные разговоры, обработка большого объема документов и ассистенты по кодированию.

August 14, 2024
4 Статьи

Дополнительное чтение