Háttérrendszereink gyűjtik a friss híreket az AI-keresőindexbe, mérik az idősoros adatpontokat és értékelik ki a riasztási feltételeket. A lépték érzékeltetésére: nagyjából 1000 közösségi profilt és csatornát követünk, minden posztjukat 72 órán át, minden metrikával (lájk, komment, megosztás), óránként mérve – ez néhány naponta több millió mérés.
Serverless és konténeralapú, automatikusan skálázódó infrastruktúránk ezt gond nélkül kiszolgálta – de a termékindulás után hamar ott tartottunk, hogy óránként 1000 gépre skálázódtunk. A versenyképes árazáshoz ideje volt optimalizálni.
Mit optimalizáltunk?
.NET-alapú backendünkben a makrótól a mikrooptimalizálásig számos technikát vetettünk be: hívások kötegelése, párhuzamosítás, a memóriafoglalások agresszív csökkentése, memory pooling, fordítási idejű szerializáció, hardveresen gyorsított vektorműveletek – és több mint 20, feladatra szabott adatszerkezet.
A legnagyobb falat a szövegfeldolgozás volt: a weboldalak és az LLM-promptok akár több megabájtnyi szöveget jelentenek. A HTML-feldolgozónkat nulla memóriafoglalásúra írtuk át – nagy dokumentumokon akár 10× gyorsulást és közel 100× memóriacsökkenést értünk el.
Az eredmény: az óránkénti gépigény 1000-ről nagyjából 100-ra csökkent (10×), a teljes memóriaigény pedig 20–40-szeresére zsugorodott. Ez az alap bőven elbírja a további növekedést – ugyanennyi vagy kevesebb erőforrásból.
Vissza a hírekhez