RAG evaluation, retrieval, AI readiness és dokumentációs kísérletek.
Egy valós banki Tudástáron teszteltem 4 különböző chunking stratégiát — és meglepő módon nem a “legokosabb” semantic chunking nyert, hanem a legegyszerűbb Fixed Token megoldás. A kísérlet jól megmutatta, hogy retrievalnél nem az számít, melyik algoritmus hangzik intelligensebben, hanem hogy a chunkolás mennyire illeszkedik a tartalom valódi struktúrájához.
Mi történik, amikor egy RAG rendszer hirtelen “elromlik”, pedig senki nem nyúlt a pipeline-hoz? Egy valós példán keresztül mutatom meg, hogyan tudja a háttérben megváltozó corpus teljesen átírni a retrieval viselkedését — és miért kritikus a dokumentumverziók és corpus snapshotok kezelése production környezetben.
Az internet egy furcsa ChatGPT válaszon nevetett — de a háttérben valójában egy klasszikus retrieval probléma állt. Egy egyszerű RAG sandboxban megmutatom, hogyan változott meg teljesen ugyanannak a modellnek a válasza pusztán attól, hogy megkapta a hiányzó kontextust. A tanulság: sok AI hiba nem modellhiba, hanem retrieval probléma.