RAG evaluation, retrieval, AI readiness és dokumentációs kísérletek.
A hallucináció típusainak megértése elengedhetetlen a RAG rendszerek megbízhatóságának értékeléséhez és javításához. Ez a cikk a hallucináció hét jól azonosítható formáját mutatja be, azok mechanizmusait és gyakorlati megjelenési formáit.
A legtöbb csapat még mindig kézzel próbálja kiértékelni a RAG rendszereit — pedig egy válasz lehet releváns, de hallucinált, vagy pontos, mégis használhatatlan. Ebben a posztban megmutatom, hogyan segít a RAGAS külön mérni a retrieval, a modell és a teljes pipeline viselkedését, és miért fontosabb sokszor a dataset minősége, mint maga a chunking stratégia.
Egy valós banki Tudástáron teszteltem 4 különböző chunking stratégiát — és meglepő módon nem a “legokosabb” semantic chunking nyert, hanem a legegyszerűbb Fixed Token megoldás. A kísérlet jól megmutatta, hogy retrievalnél nem az számít, melyik algoritmus hangzik intelligensebben, hanem hogy a chunkolás mennyire illeszkedik a tartalom valódi struktúrájához.
Mi történik, amikor egy RAG rendszer hirtelen “elromlik”, pedig senki nem nyúlt a pipeline-hoz? Egy valós példán keresztül mutatom meg, hogyan tudja a háttérben megváltozó corpus teljesen átírni a retrieval viselkedését — és miért kritikus a dokumentumverziók és corpus snapshotok kezelése production környezetben.