Как Insurify „нае“ AI като QA инженер

AI като новия QA инженер: реална история от Insurify

В българската IT екосистема темата за AI в тестването и разработката вече не е теория, а ежедневие. Особено за компании, които работят за глобални пазари и в силно регулирани сектори като застраховането. Именно такъв е случаят с Insurify – технологична компания с екип в България, която решава да „наеме“ AI като QA инженер и да му повери критична задача: автоматизирани smoke тестове на production.

Тази история е част от поредицата „AI в Българската IT Индустрия: Аутсорсинг и Иновации“, в която проследяваме как локални и глобални компании с екипи у нас използват изкуствен интелект за по-умна разработка, по-надеждно тестване и по-бърз time-to-market.

В следващите редове ще разгледаме:

• защо класическите автоматизирани тестове не работят добре в силно динамична среда;
• как Insurify комбинира AI агент с инструменти като Playwright;
• как се намаляват разходи от долари до центове на тест;
• какво могат да вземат българските екипи от този подход и как да го приложат стъпка по стъпка.

Проблемът: когато „малка промяна“ струва стотици хиляди

Insurify развива виртуален застрахователен агент, който в реално време търси, сравнява и предлага застрахователни продукти. От гледна точка на QA това означава:

• множество интеграции с външни доставчици;
• експерименти и A/B тестове, които променят UI динамично;
• резултати, които зависят от десетки външни фактори.

С разрастването на бизнеса и екипа, броят дневни деплойменти се увеличава, а с него и рискът от незабелязан outage в production. „Малка промяна“ по UI, грешен селектор или счупен основен user flow могат да доведат до:

• загуба на конверсии;
• директни пропуснати приходи в стотици хиляди долари;
• ерозия на доверието в продукта и екипите.

Ръчните smoke проверки след релийз вече не са устойчиви – те забавят темпото, изискват координация между хора в различни часови зони и оставят място за човешка грешка. Решението изглежда очевидно: автоматизирани smoke тестове. Но реалността бързо показва, че това не е толкова лесно.

Защо класическата автоматизация се чупи в динамични продукти

Smoke тестовете трябва да са:

• бързи – да се изпълняват за минути;
• надеждни – да не „пищят“ при всяка козметична промяна;
• евтини – да могат да се пускат след всеки релийз, без разходите да ескалират.

В реален, жив продукт като този на Insurify обаче:

• селекторите по UI често се сменят;
• показват се различни експериментални варианти на интерфейса;
• различни партньори връщат различни резултати дори при една и съща заявка.

При класическата автоматизация това води до:

• постоянни false positive грешки;
• чупещи се тестове при незначителни промени;
• загуба на доверие в автоматизираните проверки („тестовете пак лъжат“).

Точно тук идва ключовият въпрос: възможно ли е тестовете да „мислят като човек“, да усещат контекста и да вземат решения, когато средата се променя?

Първи опит: „Нека AI агентът свърши всичко“ – и защо не работи

Логичният първи експеримент е: един голям езиков модел (LLM) да поеме почти цялата работа.

Идеята: опишеш целта в промпт – например „Увери се, че основният user flow за застрахователна оферта работи“ – и оставяш AI агента да навигира из страницата, да кликва бутони, да чете текстове и да преценява дали всичко е наред.

На теория звучи чудесно. На практика Insurify се сблъсква с две големи спирачки:

1. Скорост
   Прост smoke сценарий отнема над 10 минути – повече, отколкото ръчната проверка от човек.

2. Цена
   Един тест струва над 2 долара. При стотици пускания дневно това е икономически неиздържано за smoke ниво.

Т.е. пълен AI контрол върху браузъра без допълнителни оптимизации е твърде бавен и скъп – точно обратното на изискванията за production smoke тестове.

Изводът, до който стига екипът, е важен и за много български компании, които тестват AI идеи днес:

AI не трябва да замества инженерните практики, а да ги допълва. Моделът трябва да мисли, но не задължително да върши всяка елементарна операция.

Работещият хибриден модел: AI + инструменти, а не AI вместо тях

След няколко итерации Insurify намира балансиран подход: AI агент, оборудван с инструменти, а не „чист“ LLM, който прави всичко сам.

Какво означава това на практика

1. Браузър контрол от инструмент (напр. Playwright)

   • всичко, което е детерминирано и предвидимо, се прави чрез статични селектори;
   • click, type, wait, навигация – това са евтини операции, изпълнявани локално и бързо.

2. AI агент само там, където средата е хаотична
   OpenAI модел се използва като „мислещ агент“, който:

   • решава какво да прави, когато селекторите се счупят;
   • адаптира поведението при нова страница или различен layout;
   • интерпретира резултати в по-високо ниво (напр. „user flow-ът завърши успешно ли?“).

3. Инструмент за координация (browser-use)
   Екипът използва библиотека, която интегрира браузър автоматизация с LLM. Така:

   • големият модел не „клика“ директно, а дава инструкции на инструмента;
   • данните, които AI вижда, са оптимизирани – достатъчно богати, за да вземе решение, но не излишно детайлни, за да не се вдигат разходите.

Резултатите от хибридния подход

След оптимизациите Insurify постига:

• над 5 пъти по-бързи тестове;
• драстично по-ниска цена – от долари до няколко цента на тест;
• по-висока надеждност – по-малко фалшиви аларми, повече реални сигнали за проблем.

Вместо QA екипът да „гони“ счупени тестове, той може да се фокусира върху дизайна на сценарии, качеството на продукта и анализ на истинските инциденти.

Как българските екипи могат да приложат този подход

Историята на Insurify е ценен blueprint за други компании от българската IT индустрия – както продуктови, така и аутсорсинг/аутстаф екипи, които искат да добавят AI-базирано тестване към услугите си.

1. Започнете от бизнес-ключовите smoke сценарии

Не автоматизирайте всичко. Фокусирайте се върху:

• основните user journeys, които носят най-много приходи;
• критични за договора с клиента SLA потоци;
• процеси, чието счупване води до директни финансови загуби.

Задайте си въпроса: ако този flow спре да работи днес, колко ще ни струва? Това ще ви подреди приоритетите.

2. Комбинирайте „твърда“ автоматизация с „мек“ AI слой

Практичен модел, вдъхновен от Insurify:

• използвайте стандартен инструмент за UI автоматизация за стабилните части на интерфейса;
• добавете AI агент, който:
  • може да открива бутони по текст и контекст, не само по селектори;
  • интерпретира различни варианти на страница (A/B тестове, експерименти);
  • разбира „успешно завършване“ на сценарий на ниво бизнес логика.

По този начин не плащате AI цена за всяко действие, а само когато наистина имате нужда от интелигентно решение.

3. Измервайте: скорост, цена, false positives

За да не се превърне AI тестването в скъп експеримент, заложете метрики още от началото:

• средно време за изпълнение на тест;
• средна цена на един run;
• процент фалшиви аларми спрямо реални дефекти.

Целта е да стигнете до профил, подобен на този при Insurify:

• минути, а не десетки минути на smoke suite;
• центове, а не долари на изпълнение;
• аларма да означава „вероятен реален проблем“, а не „пак нещо по теста се е счупило“.

4. Инвестирайте в prompt инженерство и guardrails

AI агентът е толкова добър, колкото са:

• инструкциите, които получава;
• ограниченията, в които го поставяте.

Няколко добри практики:

• формулирайте целите на тестовете в ясен, бизнес-ориентиран език („Потребителят трябва да може да стигне до страница с валидна оферта“);
• ограничете действията, които моделът може да извършва (без destructive операции, без излишни стъпки);
• използвайте структурирани отговори (напр. JSON със статус, причини, контекст), които лесно се анализират от CI/CD системи.

Какво означава това за аутсорсинг и иновации в България

В контекста на „AI в Българската IT Индустрия: Аутсорсинг и Иновации“ подходът на Insurify показва няколко важни тенденции:

• Българските екипи вече не са само „delivery центрове“, а партньори в архитектурата на AI-нативни решения – от дизайн на агенти до интеграция с критични системи.
• Аутсорсинг компаниите могат да надграждат услугите си – вместо „автоматизация на тестове“ да предлагат „AI-усилени QA платформи“, базирани на подобни хибридни модели.
• Инженерното мислене остава в центъра – успехът идва не от сляпата вяра в моделите, а от правилното им вграждане в вече доказани практики за качество и надеждност.

За продуктови компании с екипи в България това е шанс:

• да намалят риска от production инциденти;
• да ускорят доставката на фийчъри;
• да изградят конкурентно предимство на пазари като САЩ и Западна Европа, където надеждността е критична.

Заключение: AI няма да замени QA, а QA без AI ще изостане

Историята на Insurify показва как AI може реално да поеме ролята на нов „колега“ в QA екипа – да стартира тестове след всеки релийз, да проверява основните потоци и да връща резултати още преди първите реални потребители да видят новата версия.

Ключът към успеха обаче не е в „вълшебния промпт“, а в:

• внимателен избор на сценарии;
• хибриден дизайн: инструменти + AI агент;
• дисциплина в измерването на скорост, цена и качество;
• инженерна култура, която приема AI като партньор, а не като заплаха.

За българските компании, които искат да останат конкурентни в аутсорсинг и продуктова разработка, следващата логична стъпка е яснота по въпроса: къде в нашия pipeline AI може да мисли вместо нас – и къде ние трябва да мислим как да го използваме по-умно?

Сега е добър момент да започнете пилотен проект в собствените си екипи – с малък брой критични smoke сценарии, измерими цели и амбицията да „наемете“ своя първи AI QA инженер.