Testování softwaru
články
-
Nejnovější příspěvky
Nejnovější komentáře
- Pavel Vítek: Ermail.cz – moje zkušenosti
- Karel: Ermail.cz – moje zkušenosti
- Karel: Ermail.cz – moje zkušenosti
- Ferda Janda: Manuální testování
- Miroslav: Ermail.cz – moje zkušenosti
Author Archives: Tomáš Hlava
CzechTest 2016 se blíží
CzechTest 2016
Největší akce v oblasti testování softwaru ve střední Evropě je opět tady. Již 6.ročník mezinárodní konference CzechTest se uskuteční ve dnech 18.-20.5.2016 Na konferenci každoročně vystupují známé osobnosti v oblasti testování jako Kari Kakonnen, Alon Linetzki, T.E. Shaw, Julian Harty, Graham Thomas či Julie Gardiner, z kterých Julie Gardiner a Alon Linetzki navštíví Prahu i tento rok. Opět se můžeme těšit na zajímavá témata i doprovodný program. Kompletní program letošní konference bude zveřejněn 5.4.2016 na webu http://czechtest.com/
Zachován zůstane 3-denní formát přičemž tutoriál i přednášky budou v Clarion Congress Hotel na Praze 9. Přesto bude tento rok něčím nevšední. Kromě dvou stabilních anglických tracků, letos bude nově zařazen československý track a chystá se CzechTest party na podporu networkingu mezi všemi účastníky konference.
Program minulých ročníků:
Reporty z minulých ročníků:
Tagged CzechTest, konference
Case study
Case study lze volně přeložit do češtiny jako případová studie. Tento termín se využívá napříč různými obory (ať už IT nebo sociologie, politologie apod.). Case study lze popsat jako studii určitého případů za účelem pochopení podobných případů. Ve vztahu k testování softwaru lze tedy uvést jednoduchý příklad pro lepší vysvětlení.
Na projektu uvažujeme o automatizaci testů. Protože ale nemáme dostatečné zkušenosti s touto aktivitou a nejsme přesvědčeni o výhodách tohoto řešení, tak si pozveme odborníka. Odborník z firmy zabývající se automatizací softwaru přijme pozvání. Předáme mu zadání a on nám prezentuje case study jak na jiném projektu řešil podobný problém. Na základě prezentace pak máme blíže k rozhodnutí zda automatizovat nebo ne.
Case study doporučuji vždy vytvořit po dokončení procesu testování na projektu. Shrnete v ní jak probíhala příprava na testy (testovací strategie, test design..), průběh testů (exekuce) a na závěr s jakým výsledkem dopadl celý projekt s ohledem na stav testů.
Takto připravenou case study může využít pro ponaučení z vlastních chyb nebo také k prezentaci vlastní práce na budoucích projektech.
Tagged Case study, Případová studie, Slovník pojmů
CzechTest 2014 – Report
konference CzechTest
Dne 25., 26. a 27.6.2014 se v Praze konal 4.ročník mezinárodní konference o testování
softwaru CzechTest 2014. Akce byla opět rozdělena na tutoriály (1.den) a samotnou konferenci plnou prezentací (2. a 3.den).
CzechTest 2014 v číslech:
- 3 dny
- 23 přednášejících
- přes 100 účastníků
- 14 paralelních prezentací (2 streamy)
Konference se opět zúčastnili mnozí zahraniční přednášející: Richard Taylor, Julian Harty, Graham Thomas, Julie Gardiner. Zejména jejich prezentace a key note byly nejzajímavější. Krom těchto speakerů jsme samozřejmě měli možnost slyšet i prezentace od českých a slovenských kolegů.
Na tutoriálech (jako již tradičně) nebylo mnoho účastníků (cca 40). Na prezentacích pak účast posluchačů byla téměř stejná jako loni (cca 120). Což je podle mne škoda, jelikož jsou tutoriály velmi praktické, zábavné a poučné. Skupiny jsou složeny z max. 20 účastníků.
Témata tutoriálů:
- Test analýza
- Test Analysis from scratch: a beginners guide
- Test Analysis Live
- Programování / Revize
- Programming for Testers – It is easy! / Introducing Effective Reviews
- Test driven development
- TDD Demystified
- Agilní testování
- Agile Testing / Exploratory & Session Based Testing
Příští rok se bude konat již 5.ročník. Konference by měla být opět v Praze Vysočanech. Novinkou by však mělo být přidání dalšího streamu prezentací a větší důraz na marketing za cílem rozšíření základny posluchačů (Polsko apod.).
Tagged CzechTest, konference, report
Downgrade IE9 na IE8 ve Windows 7
Možná se vám během testů stalo, že jste potřebovali otestovat aplikaci v jiné verzi internetového prohlížeče než jaký máte nainstalovaný. Jak webovou aplikaci otestovat na více verzích Internet Exploreru jsme si ukazovali u nástroje IETester.
Během testů jedné aplikace jsem však narazil na konkrétní problém, kdy jsem na Windows 7 potřeboval testovat v Internet Exploreru 8. Jelikož osobně moc nedůvěřuji nástrojům pro simulaci různých verzí prohlížeče, rozhodl jsem se nainstalovat IE8. Na Windows 7 je automaticky instalován IE 9. Níže uvádím návod jak provést downgrade tohoto „skvělého“ prohlížeče, který drtivá většina zákazníků používá.
Odinstalujte IE9 a nainstalujte IE8¨:
- Ukončete všechny programy
- Otevřete „Ovládací panely“ (Start -> Ovládací panely)
- Vyberte kategorii „Odinstalovat program“
- V levém panelu vyberte možnost „Zobrazit nainstalované aktualizace“
- V seznamu aktualizací 2x klikněte na „Microsoft Internet Explorer 9“
Internet Explorer 9 byl odinstalován a je potřeba restartovat systém. Po restartu Windows automaticky začnou instalovat Internet Explorer 8. Po instalaci IE8 se Windows budou snažit stáhnout a instalovat IE9. Dejte si tedy pozor na to jak máte automatické aktualizace nastavené a včas tuto aktualizaci odmítněte.
Internet Explorer můžete úplně vypnout. V Ovládacích panelech vyberte kategorii „Programy“. Klikněte na odkaz „Zapnout nebo vypnout funkce systému Windows“. Tam odznačte Internet Explorer příslušné verze a je to.
Tagged downgrade, ie8, ie9, internet explorer, návod, windows 7, windows internet explorer
LaTes 2013 – Recenze
Letošní ročník konference LaTes byl již osmý v pořadí. Konal se 9.10.2013 v Praze v City Tower. Hlavní téma letos bylo: „Bezpečná realizace rozsáhlých IT projektů„. Konference trvala jeden den a všechny přednášky byly v češtině. LaTes je po CzechTestu druhou největší konferencí v České republice, která se zabývá problematikou kvality a testování softwaru. Registrace na konferenci stála pro státní zaměstnance 750Kč (bez DPH) a pro ostatní 1400Kč (bez DPH).
LaTes - konference
Na konferenci si bylo možné vyslechnout celkem 13 přednášek, kdy každá trvala 30min. Osobně bych některé přednášky úplně vypustil (např. Jak správně zadávat veřejné zakázky v ICT) naopak jiné by si zasloužily větší prostor. Nejvíce mne zaujali přednášky Petra Sobotky (Zajištění kvality kódu), Jiřího Matouška (Přínos unit testů na velkých projektech) a Heleny Šimkové (Kvalitní uživatelské rozhraní – cesta ke snížení nákladů, zvýšení efektivity a spokojenějším zaměstnancům). Přínos unit testů bych vytesal do kamene – se vším jsem souhlasil a doufám, že se unit testy budou zase o něco více využívat. Přednáška o testech uživatelského rozhraní podle mne zaujala všechny přítomné. Snad se i tyto testy dostanou do širšího povědomí a začnou se výuce využívat v praxi při vývoji aplikací. Zajímavá byla i přednáška Aleše Špidly o připravovaném zákonu o kybernetické bezpečnosti.
Nezbývá tedy než popřál konferenci LaTes, ať se jí daří i nadále a udrží si alespoň stejnou laťku kvality jakou má nyní.
Tagged konference, LaTes, recenze
Jak se připravit na ISTQB certifikaci
Test k certifikaci ISTQB Foundation Level obsahuje celkem 40 otázek (co otázka to bod). Pro úspěšné splnění potřebujete získat alespoň 26 bodů. Z možných odpovědí (většinou z pěti) je vždy právě jedna správná. Skládáte-li test ve svém rodném jazyce, tak na něj máte 60 minut jinak 75 minut. Pokud si však vyberete angličtinu, tak zpravidla máte možnost nahlédnout i do českého překladu (toť alespoň moje zkušenost z Prahy v roce 2013).
pozn. Advanced Level (CTAL)- Více správných odpovědí. Test je jen v anglickém jazyce.
K přípravě si stačí přečíst skripta, která naleznete na webu na www.istqb.org
Jediné co tam není vysvětlené jsou výpočty pokrytí kódu. Nejde o nic složitého a v testu na toto téma bude několik příkladů (minimálně 6). Já jsem se to naučil z odkazů níže. Otázky budou kladeny ve smyslu: „jaké minimální množství TC potřebujete pro State coverage pseudo kódu“. Doporučuji si danou úkolu rozkreslit na vývojový diagram – krásný příklad.
State coverage (pokrytí příkazů)
Pokryty jsou všechny příkazy v kódu. Zajímají nás tedy jen větve kde se vykonávají
příkazy. Pokud má IF např. definován jen příkaz pro True, tak nám stačí si projít jen
tuto větev – možnost False nás nezajímá.
http://istqbexamcertification.com/what-is-statement-coverage-advantages-and-disadvantages/
http://testersthoughtsuncombed.blogspot.cz/2013/02/statement-coverage-vs-branch-coverage.html
obrázek:
http://qtp.blogspot.cz/2009/04/explain-statement-coverage.html
Branch/Decision coverage (pokrytí rozhodování)
Pokryty jsou všechny možnosti (výsledky) při rozhodování (true,false). Pokud má IF např. definován jen příkaz pro True, je potřeba připravit TC i pro False.
http://www.softwaretestingmentor.com/test-design-techniques/decision-coverage/
Patch coverage (pokrytí cest)
Zajímají nás všechny možné cesty v diagramu.
Své znalosti si také můžete ověřit online testu:
Existují i mobilní aplikace pro Android kde se vám generují otázky z testů. Podle mne se
ale jedná o otázky z několik let starých testů.
TestCompetence ISTQB FL [CZ]
TSG Software Testing Skills
Pokud máte i vy nějaké „pomůcky“ k učení na certifikaci ISTQB tak se o ně neváhejte podělit s ostatními v komentářích.
Tagged certifikace, ISTQB, návod, test, zkouška
Certifikace ISTQB
ISTQB® (International Software Testing Qualifications Board)
V oblasti testování softwaru je certifikace ISTQB bezpochyby nejznámější na světě. Certifikaci vytvořilo mezinárodní sdružení testerů ISTQB (International Software Testing Qualifications Board), které si klade za cíl vytvořit a sdružovat mezinárodně uznatelnou skupinu odborníků z oblasti testování softwaru. Organizace byla založena v roce 2002 v Edinburgu. Organizace má pobočky ve více než 100 zemích na světe. Do roku 2014 rozdala přes 336 000 certifikací. Certifikaci není potřeba pravidelně obnovovat. V roce 2006 vznikla československá odnož Czech and Slovak Testing Board (CaSTB).
Certifikát ISTQB je možné získat ve třech základních úrovních:
- Foundation Level (CTFL)
- Advanced Level (CTAL)
- Expert level
Foundation Level (CTFL)
Zkoušky na nejnižší úroveň CTFL můžete absolvovat pokud máte vysokoškolské vzdělání 2.stupně technického, přírodovědného, ekonomického nebo příbuzného směr a nebo pokud máte praxi minimálně 6 měsíců v oblasti IT, testování softwaru nebo vývoji softwaru. Test obsahuje 40 otázek u kterých je potřeba vybrat právě jednu ze čtyř možností. Pro úspěšné složení zkoušky je potřeba správně odpovědět alespoň na 26 otázek (65%). Na vyplnění testu máte 60min (v českém jazyce) nebo 75min. pro anglickou verzi testu. Studijní materiály jsou volně dostupné na webu ISTQB(v angličtině) nebo na CaSTB. Certifikát CTFL stojí 100€.
Advanced Level (CTAL)
Pro certifikace CTAL již potřebujete mít praxi v oboru minimálně 5let a současně certifikát z CTFL. Test je dostupný jen v anglické verzi. Pro úspěšné složení zkoušky je potřeba správně odpovědět na min. 65% otázek. Bodové ohodnocení otázek je 1 až 3 body. U každé otázky tedy nemusí být jen jedna odpověď správná. Otázky a body:
- CTAL – Test Manager, 65 otázek, maximum 115 bodů, min.75
- CATL – Test Analytik, 60 otázek, maximum 118 bodů, min. 77
- CATL – Test Technical Analyst, 45 otázek, maximum 80 bodů, min. 52
Studijní materiály jsou volně dostupné na webu ISTQB. Certifikát CTAL stojí 150€ Kč.
Expert Level (CTEL)
Pro certifikaci CTEL je nutné mít praktické zkušenosti z testování po dobu 5ti let. Z toho 2 roky o oblasti pro kterou chcete získat CTEL. Další podmínkou pak je splnění CTFL a CTAL.
Zkoušky CTFL lze vykonávat jak v českém nebo anglickém jazyce, ostatní jen v angličtině. Certifikát není potřeba obnovovat, platí Vám tedy celý život. CTFL a CTAL je možné složit v České republice.
CaSTB
Czech and Slovak Testing Board byl založen v roce 2006. Jedná se o oficiálního regionálního zástupce ISTQB. Posláním CaSTB je především propagace profese testování prostřednictvím akreditace poskytovatelů školení a pomocí certifikace profesionálů v oblasti testování dle pravidel ISTQB® v České a Slovenské republice, s přístupem k materiálům ve svých rodných jazycích. CaSTB zajišťuje oficiální překlad originálních anglických materiálů do čestiny a slovenštiny. Rovněž poskytuje ISTQB® Slovník pojmů, který vysvětluje terminologii využívanou v materiálech ISTQB®.
Školení
Oprávnění pořádat školení ISTQB mají v České a Slovenské republice jen 3 organizace. Pro CTFL je to CN GROUP, pro CTAL jen STEST a pro CTFL i CTAL Tesena.
Certifikační orgán který v České republice zaštiťuje vydávání certifikátu je CSQ-CERT. Podrobnosti o zkoušce naleznete na jeho webu.
Tagged CaSTB, certifikace, certifikát, ISTQB, školení, zkouška
CzechTest 2013 – report
- CzechTest 2013
Na letošní, v pořadí již 3.ročník CzechTest 2013 bylo zaregistrováno celkem 130 účastníků. Tedy podobně jako loni. Mezi největší lákadla určitě patřili hosté: Lee Copeland, Martin Pol, Tom Gilb a Julie Gardiner. Především přednášky posledně jmenované Julie Gardiner byly nezapomenutelným zážitkem. Novinkou byl diskusní panel, ve kterém na dotazy odpovídali hlavní řečnické hvězdy konference. Jako doprovodný program se osvědčila soutěž o nejzajímavější bug report. Nezbývá tedy než poděkovat pořadateli firmě stest a popřát hodně štěstí do dalších ročníků.
Tagged CzechTest, konference
TestLink – správa a organizace testování softwaru
TestLink
TestLink (Open Source Test Management) je webová aplikace která primárně slouží k tvorbě Test Case a jejich následné exekuci. Jedná se tedy o Test management tool, čili nástroj pro správu a organizaci testů softwaru. V komunitě testerů je TestLink velmi oblíben a rozšířen a to i přesto, že jeho vývoj organizací Teamst skončil v roce 2013. Poté se vývoje ujal TestLink Development Team, který naposledy vydal verzi 1.9.9 (2013/11/17). Přestože je nástroj freeware, hrdě konkuruje mocným nástrojů jako je např. HP Quality Center a je využíván zejména na menších projektech, kde je zbytečné využívat robustní řešení. Není tak žádným tajemstvím, že je TestLink využíván i ve velkých organizacích jako jsou: Komerční banka, Unicorn, Tatra banka, Home credit, Poštová banka apod.
Použití nástroje TestLink bych doporučil pro menší projekty kde se musí vytvořit nové Testovací případy. Práce s nástrojem je velmi snadná, ale uživatel někdy musí svoje postupy odvozovat od možností TestLinku. Import i export TC je v TestLinku možný, ale má svá omezení. Zejména formát exportovaných dat není moc přehledný. Aplikace je napsaná v PHP a lze si ji tak snadno upravit pro svou potřebu.
Výhody využití nástroje TestLink
- Je zdarma – Svobodný software (šířený pod licencí GNU GPL)
- Psaný v PHP (lze si kód upravit a vytvořit si tak vlastní moduly, funkce, atributy apod.)
- Přehlednost a online dostupné informace
- Týmové sdílení informací
- Přístupová práva na projekty dle rolí
- Přidělování test exekuce jednotlivým testerům
- Stromová struktura testů (Test Suite -> Test Case)
- Verzování TC a požadavků
- Vazba mezi požadavky a TC
- Tvorba Test plánu přímo v aplikaci
- Historie test exekuce
- Sledování průběhu testů
- Reporting (dle mnoha ukazatelů)
- Různé pohledy na protestovanost (např. dle keywords, custom fields)
- Zálohování dat
- Integrace s Bug tracking systémy (JIRA, Mantis, Bugzilla, TrackPlus, Eventum, Trac, Fogbugz, Gforce, Remine)
Nevýhody
- TC se dají kopírovat ale nemají mezi sebou vazbu na rodiče (tzn. Pokud TC nakopírují mezí více požadavků a pak u jednoho TC provedu úpravu, tak se mi tato úprava nikdy nepropíše do ostatních kopií.)
- prefix názvu TC musí obsahovat alespoň jeden znak, nemůže tak být před názvem TC jen pořadové číslo. Toto číslo nelze zpětně upravit. Po smazání TC tak jeho id už nelze použít.
- Nelze ukládat výsledek každého kroku. Výsledek lze nastavit až pro celý scénář. To lze „obejít“ větší granularitou testů, ale jen na úkor přehlednosti scénářů.
- … nevýhod je více – záleží co přesně od nástroje chcete
Firebug
Firebug
Firebug je plugin(add-on, rozšíření) do webového prohlížeče Mozilla Firefox. V odlehčené verzi Firebug Lite jej ale lze spustit také v IE, Chrome, Safari či Opeře. Firebug je mocný nástroj nejen pro vývojáře, ale i velmi šikovná pomůcka pro testování softwaru. V praxi s jeho pomocí můžeme urychlit nalezení příčiny chyb a jejich následné odstranění. Instalace je velmi snadná. V podstatě schodná se všemi rozšířeními Firefoxu, tedy stejná jako u Selenium IDE. Stačí tedy stáhnout soubor a instalace se provede automaticky.
Podle verze FF se Vám nyní zobrazí ikona brouka buďto vpravo dole(starší verze FF) nebo nahoře(FF 10+). Po kliknutí na tlačítko se zobrazí okno Firebugu, které má 6 hlavních záložek(Konzole, HTML, CSS, Skripty, DOM a Síť). Nezapoměnte si v nastavení Firebugu povolit všechny panely. Okno samotného Firebugu může být integrováno přímo v zobrazovací oblasti FF nebo jako samostatný pop-up. V záložce Konzole můžeme sledovat mimo jiné chyby v kódu zobrazené stránky. Pokud je například chyba v JS skriptu, zobrazí se zde informace na jakém řádku a v jaké souboru chyba je. To je velmi důležitá informace pro vývojáře, kteří díky této zprávě mohou chybu rychleji odhalit a následně i opravit.
Firebug
V další záložce HTML vidíme zdrojový kód aktuální stránky. Hodnoty atributů lze měnit. Můžeme tak velmi rychle sledovat jak se změny projeví na webové stránce. V pravé části okna firebugu se zobrazují informace o stylech použitých na stránce. Pokud označíme konkrétní řádek(HTML tag) v kódu, zobrazí se nám vpravo informace o tom, jaké styly daný prvek využívá a kde je najdeme(soubor a řádek). Po označení vybraného tagu se nám v okně, kde je zobrazena webová stránka, modře zvýrazní oblast v níž je použit daný HTML tag. Stejné funkce docílíme kliknutím pravým tlačítkem myši do stránky a požadovanou oblast. Z kontextového menu pak vybereme zpravidla poslední možnost(Inspect element with Firebug). Po kliknutí pravým tlačítkem na označený HTML tag ve Firebugu, máme možnost mimo jiné kopírovat XPath či cestu CSS k příslušnému tagu. Z třetí záložce zleva lze přímo editovat kaskádové styly využité na zobrazované webové stránce. V záložce Skripty je v podstatě debugger JavaScriptu. V debuggeru lze pochopitelně nastavovat zarážky(brejky), sledovat hodnoty proměnných apod. V záložce DOM se nachází inspector DOM a Ajax. Lze zde stromové procházet DOM. V poslední záložce Síť je vydět jak dlouho se webová aplikace načítala. Načítání je rozdělené do jednolivých částí, takže vidíme jak dlouho jsme např. čekali na načtení konkrétního obrázku.
Firebug je velmi praktický nástroj, který může dobře posloužit jak vývojářům tak i testerům při testování webových aplikací.
