Témata, která nás zajímají
Zaměřujeme se na praktické zkušenosti s evaluací AI systémů v produkci. Zde jsou typy přednášek, které hledáme:
Case Study
Jak evaluujete konkrétní RAG systémy, agenty nebo LLM funkce ve vašich produktech. Jaké metriky používáte, jak vypadá váš eval pipeline a s jakými největšími výzvami jste se setkali.
- Evaluace chatbota v produkci
- Měření kvality retrieval pipeline
- A/B testování prompt variant
Deep Dive do nástrojů
Ukázka frameworků, interních nástrojů nebo infrastruktury navržené pro evaluace, testování, monitoring nebo logování AI systémů.
- Srovnání eval frameworků
- Vlastní tooling pro monitoring
- Integrace do CI/CD
Výzkum a experimenty
Sdílení výzkumných zjištění (papery, interní reporty, experimenty) s praktickými důsledky pro ty, kdo staví produkční systémy.
- Benchmarking nových modelů
- Experimenty s evaluačními metrikami
- Analýza failure modes
Otevřené problémy
Diskuse o mezerách, kde současné nástroje selhávají, běžné slepé úhly a potenciální nové metriky nebo metodologie k jejich řešení.
- Evaluace bez ground truth
- Měření halucinací
- Hodnocení agentního chování
Parametry přednášky
Délka
Přednáška by měla trvat přibližně 25 minut, následuje 5-10 minut na otázky a diskusi.
Slidy
Očekáváme prezentaci se slidy. Po meetupu je můžeme zveřejnit na našem webu pro ostatní účastníky.
Jazyk
Přednášky mohou být v češtině nebo angličtině podle preference přednášejícího.
Formát
Meetupy probíhají prezenčně v Praze. Live demo je vítané, ale není povinné.
Tipy pro úspěšnou přednášku
- Buďte konkrétní – ukažte reálné příklady, čísla, screenshoty
- Sdílejte failure stories – co nefungovalo je často cennější než co fungovalo
- Zaměřte se na praktické poznatky – co si může publikum odnést a použít
- Nemusíte mít vše vyřešené – otevřené otázky jsou v pořádku
Chcete přednášet?
Máte téma, které by mohlo zajímat ostatní? Ozvěte se nám! Rádi s vámi prodiskutujeme nápad na přednášku a pomůžeme s přípravou.
Nevíte, jestli je vaše téma vhodné? Napište nám stejně – rádi poradíme!