Evals.cz

Evaluace AI aplikací, nejen modelů.

Pražský meetup a vzdělávací platforma pro lidi, kteří staví produkty poháněné AI. Benchmarky modelů na leaderboardech jsou zajímavé, ale jak zhodnotit konkrétní RAG pipeline v produkci?

15. dubna v Shoptetu — již brzy
Chci na webinář Archiv přednášek Chci přednášet

Co řešíme

🔍

Kvalita RAG systémů

Hodnocení kvality retrievalu a celkových RAG pipeline v produkci

⚠️

Regrese v produkci

Jak odhalit a opravit problémy v nasazených AI systémech

👥

Human-in-the-loop

Evaluační přístupy kombinující lidskou expertízu s automatizací

⚙️

Vývojový lifecycle

Integrace evaluací do vývoje a CI/CD pipeline

Pro koho je to

ML/AI inženýři

Nasazujete a monitorujete modely v produkci

Backend vývojáři

Integrujete LLM nebo RAG do existujícího produktu

Datoví vědci

Měříte a vylepšujete výkon AI systémů

Produktoví manažeři

Potřebujete rozumět kvalitě AI funkcí

Výzkumníci AI

Studujete spolehlivost a bezpečnost AI

Začátečníci vítáni

Praktický zájem a zvědavost jsou vítány

Formát meetupu

Místo Kanceláře Shoptetu
Formát 1-3 krátké přednášky + diskuse
Jazyk Především angličtina
Atmosféra Neformální, přátelská, praktická
"Co se pokazilo v produkci a jak jsme to opravili" — žádné sales pitche

Partneři meetupu

Vzdělávání

Intro

AI Evals 101

Dvouhodinová online session o základech evaluací. Koncepty, živé demo a Q&A.

2 hodiny live Online 3 000 CZK
Více informací
Metodologie

Co se naučíte

  • Error analysis a failure taxonomy
  • Assertion-based evaluace
  • LLM-as-Judge framework
  • RAG-specifické metriky
  • Evaluace agentů & tool-use
  • Human evaluace & anotační design
  • Integrace evaluací do CI/CD