Anthropic ได้เปิดตัวฟีเจอร์ใหม่ที่เรียกว่า "Prompt Caching" ซึ่งออกแบบมาเพื่อเพิ่มประสิทธิภาพในการประมวลผลคำสั่งที่ใช้บ่อยระหว่างการเรียก API ด้วยวิธีการเก็บข้อมูลบริบทที่มีการใช้งานบ่อย ทำให้ลดค่าใช้จ่ายและความล่าช้าลงอย่างมีนัยสำคัญ ฟีเจอร์นี้สามารถลดต้นทุนได้มากถึง 90% และลดเวลาในการประมวลผลลงถึง 85% โดยเฉพาะในงานที่ต้องใช้คำสั่งยาว เช่น แชทบอท การเขียนโค้ด และการจัดการเอกสารขนาดใหญ่
"Prompt Caching" เปิดให้ใช้งานในเวอร์ชันเบต้าสำหรับ Claude 3.5 Sonnet และ Claude 3 Haiku โดยมีแผนจะขยายการรองรับไปยังรุ่นอื่นในอนาคต การอัปเดตนี้ไม่เพียงช่วยเพิ่มประสิทธิภาพ แต่ยังทำให้การพัฒนาแอปพลิเคชัน AI มีความคล่องตัวและประหยัดต้นทุนมากขึ้น ผู้พัฒนาสามารถนำฟีเจอร์นี้ไปปรับใช้เพื่อเพิ่มประสิทธิภาพในการทำงานของระบบได้อย่างมากมาย
ที่มา : Anthropic
