Testování softwaru
články
-
Nejnovější příspěvky
Nejnovější komentáře
- Pavel Vítek: Ermail.cz – moje zkušenosti
- Karel: Ermail.cz – moje zkušenosti
- Karel: Ermail.cz – moje zkušenosti
- Ferda Janda: Manuální testování
- Miroslav: Ermail.cz – moje zkušenosti
Category Archive: Testing
Subcategories: Novinky Slovník pojmů
CzechTest 2016 se blíží
CzechTest 2016
Největší akce v oblasti testování softwaru ve střední Evropě je opět tady. Již 6.ročník mezinárodní konference CzechTest se uskuteční ve dnech 18.-20.5.2016 Na konferenci každoročně vystupují známé osobnosti v oblasti testování jako Kari Kakonnen, Alon Linetzki, T.E. Shaw, Julian Harty, Graham Thomas či Julie Gardiner, z kterých Julie Gardiner a Alon Linetzki navštíví Prahu i tento rok. Opět se můžeme těšit na zajímavá témata i doprovodný program. Kompletní program letošní konference bude zveřejněn 5.4.2016 na webu http://czechtest.com/
Zachován zůstane 3-denní formát přičemž tutoriál i přednášky budou v Clarion Congress Hotel na Praze 9. Přesto bude tento rok něčím nevšední. Kromě dvou stabilních anglických tracků, letos bude nově zařazen československý track a chystá se CzechTest party na podporu networkingu mezi všemi účastníky konference.
Program minulých ročníků:
Reporty z minulých ročníků:
Tagged CzechTest, konference
Case study
Case study lze volně přeložit do češtiny jako případová studie. Tento termín se využívá napříč různými obory (ať už IT nebo sociologie, politologie apod.). Case study lze popsat jako studii určitého případů za účelem pochopení podobných případů. Ve vztahu k testování softwaru lze tedy uvést jednoduchý příklad pro lepší vysvětlení.
Na projektu uvažujeme o automatizaci testů. Protože ale nemáme dostatečné zkušenosti s touto aktivitou a nejsme přesvědčeni o výhodách tohoto řešení, tak si pozveme odborníka. Odborník z firmy zabývající se automatizací softwaru přijme pozvání. Předáme mu zadání a on nám prezentuje case study jak na jiném projektu řešil podobný problém. Na základě prezentace pak máme blíže k rozhodnutí zda automatizovat nebo ne.
Case study doporučuji vždy vytvořit po dokončení procesu testování na projektu. Shrnete v ní jak probíhala příprava na testy (testovací strategie, test design..), průběh testů (exekuce) a na závěr s jakým výsledkem dopadl celý projekt s ohledem na stav testů.
Takto připravenou case study může využít pro ponaučení z vlastních chyb nebo také k prezentaci vlastní práce na budoucích projektech.
Tagged Case study, Případová studie, Slovník pojmů
CzechTest 2014 – Report
konference CzechTest
Dne 25., 26. a 27.6.2014 se v Praze konal 4.ročník mezinárodní konference o testování
softwaru CzechTest 2014. Akce byla opět rozdělena na tutoriály (1.den) a samotnou konferenci plnou prezentací (2. a 3.den).
CzechTest 2014 v číslech:
- 3 dny
- 23 přednášejících
- přes 100 účastníků
- 14 paralelních prezentací (2 streamy)
Konference se opět zúčastnili mnozí zahraniční přednášející: Richard Taylor, Julian Harty, Graham Thomas, Julie Gardiner. Zejména jejich prezentace a key note byly nejzajímavější. Krom těchto speakerů jsme samozřejmě měli možnost slyšet i prezentace od českých a slovenských kolegů.
Na tutoriálech (jako již tradičně) nebylo mnoho účastníků (cca 40). Na prezentacích pak účast posluchačů byla téměř stejná jako loni (cca 120). Což je podle mne škoda, jelikož jsou tutoriály velmi praktické, zábavné a poučné. Skupiny jsou složeny z max. 20 účastníků.
Témata tutoriálů:
- Test analýza
- Test Analysis from scratch: a beginners guide
- Test Analysis Live
- Programování / Revize
- Programming for Testers – It is easy! / Introducing Effective Reviews
- Test driven development
- TDD Demystified
- Agilní testování
- Agile Testing / Exploratory & Session Based Testing
Příští rok se bude konat již 5.ročník. Konference by měla být opět v Praze Vysočanech. Novinkou by však mělo být přidání dalšího streamu prezentací a větší důraz na marketing za cílem rozšíření základny posluchačů (Polsko apod.).
Tagged CzechTest, konference, report
LaTes 2013 – Recenze
Letošní ročník konference LaTes byl již osmý v pořadí. Konal se 9.10.2013 v Praze v City Tower. Hlavní téma letos bylo: „Bezpečná realizace rozsáhlých IT projektů„. Konference trvala jeden den a všechny přednášky byly v češtině. LaTes je po CzechTestu druhou největší konferencí v České republice, která se zabývá problematikou kvality a testování softwaru. Registrace na konferenci stála pro státní zaměstnance 750Kč (bez DPH) a pro ostatní 1400Kč (bez DPH).
LaTes - konference
Na konferenci si bylo možné vyslechnout celkem 13 přednášek, kdy každá trvala 30min. Osobně bych některé přednášky úplně vypustil (např. Jak správně zadávat veřejné zakázky v ICT) naopak jiné by si zasloužily větší prostor. Nejvíce mne zaujali přednášky Petra Sobotky (Zajištění kvality kódu), Jiřího Matouška (Přínos unit testů na velkých projektech) a Heleny Šimkové (Kvalitní uživatelské rozhraní – cesta ke snížení nákladů, zvýšení efektivity a spokojenějším zaměstnancům). Přínos unit testů bych vytesal do kamene – se vším jsem souhlasil a doufám, že se unit testy budou zase o něco více využívat. Přednáška o testech uživatelského rozhraní podle mne zaujala všechny přítomné. Snad se i tyto testy dostanou do širšího povědomí a začnou se výuce využívat v praxi při vývoji aplikací. Zajímavá byla i přednáška Aleše Špidly o připravovaném zákonu o kybernetické bezpečnosti.
Nezbývá tedy než popřál konferenci LaTes, ať se jí daří i nadále a udrží si alespoň stejnou laťku kvality jakou má nyní.
Tagged konference, LaTes, recenze
Jak se připravit na ISTQB certifikaci
Test k certifikaci ISTQB Foundation Level obsahuje celkem 40 otázek (co otázka to bod). Pro úspěšné splnění potřebujete získat alespoň 26 bodů. Z možných odpovědí (většinou z pěti) je vždy právě jedna správná. Skládáte-li test ve svém rodném jazyce, tak na něj máte 60 minut jinak 75 minut. Pokud si však vyberete angličtinu, tak zpravidla máte možnost nahlédnout i do českého překladu (toť alespoň moje zkušenost z Prahy v roce 2013).
pozn. Advanced Level (CTAL)- Více správných odpovědí. Test je jen v anglickém jazyce.
K přípravě si stačí přečíst skripta, která naleznete na webu na www.istqb.org
Jediné co tam není vysvětlené jsou výpočty pokrytí kódu. Nejde o nic složitého a v testu na toto téma bude několik příkladů (minimálně 6). Já jsem se to naučil z odkazů níže. Otázky budou kladeny ve smyslu: „jaké minimální množství TC potřebujete pro State coverage pseudo kódu“. Doporučuji si danou úkolu rozkreslit na vývojový diagram – krásný příklad.
State coverage (pokrytí příkazů)
Pokryty jsou všechny příkazy v kódu. Zajímají nás tedy jen větve kde se vykonávají
příkazy. Pokud má IF např. definován jen příkaz pro True, tak nám stačí si projít jen
tuto větev – možnost False nás nezajímá.
http://istqbexamcertification.com/what-is-statement-coverage-advantages-and-disadvantages/
http://testersthoughtsuncombed.blogspot.cz/2013/02/statement-coverage-vs-branch-coverage.html
obrázek:
http://qtp.blogspot.cz/2009/04/explain-statement-coverage.html
Branch/Decision coverage (pokrytí rozhodování)
Pokryty jsou všechny možnosti (výsledky) při rozhodování (true,false). Pokud má IF např. definován jen příkaz pro True, je potřeba připravit TC i pro False.
http://www.softwaretestingmentor.com/test-design-techniques/decision-coverage/
Patch coverage (pokrytí cest)
Zajímají nás všechny možné cesty v diagramu.
Své znalosti si také můžete ověřit online testu:
Existují i mobilní aplikace pro Android kde se vám generují otázky z testů. Podle mne se
ale jedná o otázky z několik let starých testů.
TestCompetence ISTQB FL [CZ]
TSG Software Testing Skills
Pokud máte i vy nějaké „pomůcky“ k učení na certifikaci ISTQB tak se o ně neváhejte podělit s ostatními v komentářích.
Tagged certifikace, ISTQB, návod, test, zkouška
Certifikace ISTQB
ISTQB® (International Software Testing Qualifications Board)
V oblasti testování softwaru je certifikace ISTQB bezpochyby nejznámější na světě. Certifikaci vytvořilo mezinárodní sdružení testerů ISTQB (International Software Testing Qualifications Board), které si klade za cíl vytvořit a sdružovat mezinárodně uznatelnou skupinu odborníků z oblasti testování softwaru. Organizace byla založena v roce 2002 v Edinburgu. Organizace má pobočky ve více než 100 zemích na světe. Do roku 2014 rozdala přes 336 000 certifikací. Certifikaci není potřeba pravidelně obnovovat. V roce 2006 vznikla československá odnož Czech and Slovak Testing Board (CaSTB).
Certifikát ISTQB je možné získat ve třech základních úrovních:
- Foundation Level (CTFL)
- Advanced Level (CTAL)
- Expert level
Foundation Level (CTFL)
Zkoušky na nejnižší úroveň CTFL můžete absolvovat pokud máte vysokoškolské vzdělání 2.stupně technického, přírodovědného, ekonomického nebo příbuzného směr a nebo pokud máte praxi minimálně 6 měsíců v oblasti IT, testování softwaru nebo vývoji softwaru. Test obsahuje 40 otázek u kterých je potřeba vybrat právě jednu ze čtyř možností. Pro úspěšné složení zkoušky je potřeba správně odpovědět alespoň na 26 otázek (65%). Na vyplnění testu máte 60min (v českém jazyce) nebo 75min. pro anglickou verzi testu. Studijní materiály jsou volně dostupné na webu ISTQB(v angličtině) nebo na CaSTB. Certifikát CTFL stojí 100€.
Advanced Level (CTAL)
Pro certifikace CTAL již potřebujete mít praxi v oboru minimálně 5let a současně certifikát z CTFL. Test je dostupný jen v anglické verzi. Pro úspěšné složení zkoušky je potřeba správně odpovědět na min. 65% otázek. Bodové ohodnocení otázek je 1 až 3 body. U každé otázky tedy nemusí být jen jedna odpověď správná. Otázky a body:
- CTAL – Test Manager, 65 otázek, maximum 115 bodů, min.75
- CATL – Test Analytik, 60 otázek, maximum 118 bodů, min. 77
- CATL – Test Technical Analyst, 45 otázek, maximum 80 bodů, min. 52
Studijní materiály jsou volně dostupné na webu ISTQB. Certifikát CTAL stojí 150€ Kč.
Expert Level (CTEL)
Pro certifikaci CTEL je nutné mít praktické zkušenosti z testování po dobu 5ti let. Z toho 2 roky o oblasti pro kterou chcete získat CTEL. Další podmínkou pak je splnění CTFL a CTAL.
Zkoušky CTFL lze vykonávat jak v českém nebo anglickém jazyce, ostatní jen v angličtině. Certifikát není potřeba obnovovat, platí Vám tedy celý život. CTFL a CTAL je možné složit v České republice.
CaSTB
Czech and Slovak Testing Board byl založen v roce 2006. Jedná se o oficiálního regionálního zástupce ISTQB. Posláním CaSTB je především propagace profese testování prostřednictvím akreditace poskytovatelů školení a pomocí certifikace profesionálů v oblasti testování dle pravidel ISTQB® v České a Slovenské republice, s přístupem k materiálům ve svých rodných jazycích. CaSTB zajišťuje oficiální překlad originálních anglických materiálů do čestiny a slovenštiny. Rovněž poskytuje ISTQB® Slovník pojmů, který vysvětluje terminologii využívanou v materiálech ISTQB®.
Školení
Oprávnění pořádat školení ISTQB mají v České a Slovenské republice jen 3 organizace. Pro CTFL je to CN GROUP, pro CTAL jen STEST a pro CTFL i CTAL Tesena.
Certifikační orgán který v České republice zaštiťuje vydávání certifikátu je CSQ-CERT. Podrobnosti o zkoušce naleznete na jeho webu.
Tagged CaSTB, certifikace, certifikát, ISTQB, školení, zkouška
CzechTest 2013 – report
- CzechTest 2013
Na letošní, v pořadí již 3.ročník CzechTest 2013 bylo zaregistrováno celkem 130 účastníků. Tedy podobně jako loni. Mezi největší lákadla určitě patřili hosté: Lee Copeland, Martin Pol, Tom Gilb a Julie Gardiner. Především přednášky posledně jmenované Julie Gardiner byly nezapomenutelným zážitkem. Novinkou byl diskusní panel, ve kterém na dotazy odpovídali hlavní řečnické hvězdy konference. Jako doprovodný program se osvědčila soutěž o nejzajímavější bug report. Nezbývá tedy než poděkovat pořadateli firmě stest a popřát hodně štěstí do dalších ročníků.
Tagged CzechTest, konference
Testování nového emailu od Seznamu
Internetový portál Seznam.cz se rozhodl po šesti letech inovovat svůj webmail. Změny se budou týkat jak rozhraní, tak i funkcí, které bude nově nabízet. Na nové verzi pracovali vývojáři údajně více než rok. Uvolnění finální verze se předpokládá na jaře letošního roku. Beta verze je nyní k dipozici pro testování uživatelům emailu na seznamu. Aplikaci tak nyní může testovat i běžný uživatel. Seznam se v tomto kroku možná nechal inspirovat Microsoftem, který touto metodou testuje novou verzi Windows 8. Testování aplikace probíhalo samozřejmě také interně. Mimo jiné byly přepínány emailové schránky vytipovaným zaměstnanců a poté zpracovávány připomínky uživatelů na základě jejich běžné práce s webmailem.
Nová verze emailu bude jednoduchá a přehledná – což je asi snaha všech vývojářů sofwaru. Webmail je postaven nově jako javascripová aplikace. Uživatel tak zůstává jen na jedné stránce, čímž se minimalizuje datový přenos. To vše za podpory HTML5. Novinkou je pak jistě na první pohled zřetelné rozhraní. Přibyla funkce drag & drop, tedy možnost přesouvat emaily do složek přetažením. Zprávy si lze nově pro lepší přehlednost oštítkovat. S příchodem nové verze se již Seznam může hrdě poměřovat s konkurenčními freemaily jako Google či Hotmail. V následujících měsících pak tým vývojářů začne pracovat na mobilní aplikaci pro práci se seznamáckým emailem.
Email od Seznamu patří v České republice k nejpoužívanějším freemailům. Aktivně je využíváno přes 7,5 miliónu jeho emailových schránek. Počet uživatelů se pak odhaduje na cca 4 milióny. Každý den se na svůj email na seznamu přihlásí přes 1,5 miliónu uživatelů.
Testování Windows 8
Již 29.2.2012 si každý bude moct stáhnout testovací verzi nového operačního systému Windows 8 od společnosti Microsoft. Od loňského podzimu je však možno sehnat na internetovém „černém trhu“ verzi pro vývojáře a partnery, kterou Microsoft uvolnil v září 2011. Testovací verze by měla být volně dostupná až do uvolnění plné verze operačního systému. Oficiální příchod nové verze Windows je očekáván koncem roku 2012. Původně byla životnost testovací verze „Windows 8 Developer Preview“ jen do 11.3.2012. Po nainstalování updatu KB2671501 se však toto datum změní na 15.1.2013. Testovat tento software tak budeme moci ještě celý rok. Veřejné uživatelské testování Windows 7 se Microsoftu očividně velmi osvědčilo. Výsledný produkt neobsahoval tolik chyb jako předchozí verze tohoto operačního systému.
Windows 8 má nový vzhled i uživatelské rozhraní pojmenované „Metro“. Vylepšené jsou procesy aktualizace systému. Zmizí klasické tlačítko Start. Změnou prošlo i logo systému. Mezi velká lákadla Microsoft řadí „hybridní statování systému“. Podle zjištění softwarového giganta totiž většina uživatelů (jak desktopů tak i laptopů) po práci svůj přístroj úplně vypíná. Nepřechází tak do hibernace. Nový systém se tedy zaměří na urychlení studeného startu. Nároky na operační paměť se přitom u Win 8 podstatně sníží.
Zátěžové testy software
Především u webových aplikací je potřeba vyzkoušet kolik uživatelů může najednou software obsloužit. Zátěžové testy lze však aplikovat i na desktopové aplikace. Součástí takových testů je i průběžný monitoring serveru a všech aplikací. Z takto získaných dat lze pak vyhodnotit výkonnostní problémy, určit kapacitu aplikace či optimalizovat natavení pro lepší výkon softwaru. Obecně lze zátěžové testy rozdělit do několika kategorií:
- Zátěžový test (Load Test)
- Test hraniční zátěže (Stress Test)
- Test odolnosti (Soak Test)
- Test selhání (Failover Test)
- Test části infrastruktury (Targeted Infrastructure Test)
- Výkonnostní test (Performance Test)
- Test citlivosti sítě (Network Sensitivity Test)
- Test objemu dat (Volume Test)
Zátěžové testy jsou velmi náročné na výkon stroje na kterém testy poběží. Je to dáno skutečností, že při testech se simuluje práce několika uživatelů najednou. Tím se zvyšují nároky na hardware.
Jelikož je cílem zátěžových testů prověření vlastností aplikace na live serveru, tedy přímo v provozu, nemá smysl testy spouštět na testovacím prostředí. Důrazně doporučuji tento druh testů spouštět v době, kdy s aplikací pracuje minimum uživatelů(např. pozdě v noci či o víkendu) a případný výpadek služby nebude znamenat žádné riziko. V tomto směru je nutné počítat s výpadkem softwaru a zajistit možnost okamžitého uvedení aplikace zpět do provozu.
K zátěžovým testům lze využít mimo jiné i nástroj bezplatný JMeter.
