Press "Enter" to skip to content

Learning Design 5: Evaluace školení jako formativní evaluace workshopu

Published 29/12/2024 by Oxford

Vzhledem k tomu, že hlavní workshop o bezpečném vývoji softwaru (viz článek Learning Design 4: Souhrnný přehled) je stále ve fázi vývoje, rozhodl jsem se vytvořit jeho zmenšenou verzi ve formě krátkého školení. Toto školení slouží jako vzdělávací objekt pro stejnou cílovou skupinu a jeho evaluace poskytne hodnotnou zpětnou vazbu pro dokončení workshopu. Formativní evaluace workshopu (formou evaluace jeho zmenšeniny v podobě školení) v této fázi umožňuje identifikovat některé silné a slabé stránky základních konceptů, což výrazně přispívá k efektivnímu zdokonalení obsahu i formy finálního vzdělávacího programu.

Tento vzdělávací objekt byl navržen tak, aby obsahoval základní strukturu a vybrané cíle původního workshopu, ale v redukované formě. Zachovává klíčové koncepty (moduly), jako jsou správa, design a implementace, avšak ve zjednodušené podobě bez zahrnutí detailních informací a praktických ukázek. Rozsah, hloubka i forma byly upraveny tak, aby školení odpovídalo kratšímu časovému rámci (zamýšlený workshop je plánovaný na 6 týdnů, zatímco školení je třeba zvládnou do cca 3 hodin) . Tento přístup umožňuje evaluaci zaměřit na přínosnost obsahu, základní technické provedení a celkovou strukturu.

Poznatky získané z evaluace školení budou sloužit pro formativní evaluaci workshopu, zaměřující se na identifikaci slabých míst a příležitostí ke zlepšení. Tento proces zajistí, že finální workshop bude lépe odpovídat skutečným potřebám a očekáváním cílové skupiny.

Konkrétní podoba školení v XLSX:

Příprava na evaluaci školení

Evaluace školení bude probíhat na platformě, jejíž název nemohu z důvodu mlčenlivosti vůči organizaci, pro kterou je školení připravováno, přímo zmiňovat. Tato platforma však svými funkcemi a prostředím velmi připomíná Moodle, který plánuji využít pro workshop. Umožňuje strukturované doručování vzdělávacích modulů, přístup k materiálům, kontrolním otázkám a zpětné vazbě. Tento přístup zajišťuje, že testování školení proběhne v prostředí, které se velmi podobá tomu, jež bude využito pro realizaci finálního workshopu.

Použití platformy umožňuje nejen ověřit kvalitu obsahu, ale také otestovat klíčové funkce, jako je přístupnost modulů, navigace a podpora interakcí s účastníky. Testování platformy umožňuje identifikovat případné technické problémy nebo uživatelské překážky, které by mohly ovlivnit efektivitu jak školení, tak workshopu. Zkušenosti účastníků poskytnou cennou zpětnou vazbu o tom, zda je platforma intuitivní a přívětivá, což je zásadní pro hladký průběh i budoucího workshopu.

Příprava na evaluaci školení zahrnuje několik klíčových kroků, které zajišťují efektivní sběr a analýzu zpětné vazby. Proces přípravy reflektuje omezený rozsah školení (omezený rozsah vůči workshopu), jehož cílem je poskytnout úvod do problematiky bezpečného vývoje softwaru, a zároveň ověřit použitelnost platformy.

  • Definování cílů evaluace školení: Primárním cílem je zjistit, zda obsah školení splňuje očekávání cílové skupiny, zejména pokud jde o jeho srozumitelnost (i v souvislosti s použitelností platformy). Dalším cílem je identifikace konkrétních oblastí ke zlepšení, které by mohly být aplikovány také při návrhu plnohodnotného workshopu. Evaluace se zaměří na kvalitu obsahu, technickou přívětivost, uživatelskou zkušenost.
    • Potom primárním cílem formativní evaluace workshopu je ověřit, zda navržený vzdělávací program má potenciál splňovat očekávání cílové skupiny, zejména pokud jde o srozumitelnost obsahu, jeho strukturu a schopnost efektivně zapojit účastníky do vzdělávacího procesu. Dalším cílem je identifikace konkrétních oblastí ke zlepšení, jako je účinnost interaktivních prvků, uživatelská přívětivost platformy a možnosti integrace reflexivních aktivit. Evaluace se zaměří na kvalitu obsahu, funkčnost a technickou přívětivost platformy, zapojení účastníků.
  • Příprava platformy: Před zahájením školení je nutné zajistit, že platforma bude plně funkční a přístupná účastníkům. Všechny vzdělávací materiály – včetně průvodních textů, kontrolních otázek a reflexivních aktivit – jsou implementovány (převážně přepsáním) do platformy. Funkčnost klíčových prvků, jako je přístup k modulům a zadávání odpovědí, je předem namátkově otestována, aby se minimalizovala rizika technických problémů.
  • Struktura školení: Školení je rozděleno do několika krátkých modulů, které účastníky postupně seznamují s hlavními tématy a koncepty. Každý modul obsahuje stručné teoretické texty, kontrolní otázky zaměřené na ověření pochopení klíčových konceptů a dobrovolné otázky, které podporují reflexi nad probíraným tématem. Obsah je vytvořen tak, aby byl srozumitelný a vstřícný profilu dané organizace a připravil účastníky na hlubší diskuzi.
  • Příprava účastníků: Do evaluace školení jsou zapojeni tři kolegové, kteří odpovídají také profilu cílové skupiny workshopu. Před zahájením školení obdrží jasné instrukce, jak postupovat, a jsou seznámeni s tím, jakým způsobem budou poskytovat zpětnou vazbu. Je jim vysvětleno, že jejich role je souvisí pro zajištěním evaluace.
  • Metody sběru zpětné vazby: Evaluace zahrnuje dvě hlavní metody – namátkové pozorování během školení a závěrečné skupinové sezení. Pozorování umožňuje sledovat interakce účastníků s platformou a jejich reakce na obsah, zatímco skupinové sezení poskytuje prostor pro sdílení dojmů a návrhů na zlepšení. Tento přístup zajišťuje zaměření na kvalitu interakcí a přímou reflexi zkušeností účastníků.
  • Testování: Před samotnou realizací školení probíhá namátkové testování platformy, které zajišťuje, že všechny funkce a obsah odpovídají očekáváním.

Tato příprava umožňuje efektivní realizaci školení a sběr relevantních dat, která budou použita k cílenému zlepšení finální podoby workshopu.

Sběr a analýza výsledků

Realizace evaluace školení proběhla ve spolupráci se třemi kolegy, kteří odpovídají profilu cílové skupiny plánovaného workshopu. Účastníci byli:

  • Pavel (35 let) – kyberbezpečnostní tester ve státním podniku. Má bohaté zkušenosti s analýzou rizik a testováním bezpečnosti softwaru, ale méně se orientuje v koncepčních přístupech a metodikách. Téma bezpečného vývoje software je mu velmi vzdáleno.
  • Josef (32 let) – specialista bezpečnosti, zaměřuje se na politiku a procesní řízení bezpečnosti ve veřejné správě. Má dobré teoretické znalosti, ale omezené zkušenosti s praktickými implementacemi.
  • Monika (29 let) – projektová manažerka ve státním podniku. Má základní povědomí o bezpečnostních principech, ale primárně se zaměřuje na řízení týmů a projektových procesů.

Průběh sběru dat

  • Průběžné hodnocení během školení: Pozorování je zaměřeno na interakce účastníků s platformou a na jejich zapojení do kontrolních otázek a reflexivních aktivit. Je namátkově (abych nerušil; někteří participanti si školení rozdělují do několika fází) sledováno, jak účastníci reagují na jednotlivé moduly, jak se orientují na platformě a jak si vedou při řešení úkolů. Záznam interakcí je použit k identifikaci potenciálních problémů nebo míst, která vyžadují větší objasnění.
  • Závěrečné skupinové sezení: Po dokončení školení probíhá moderovaná diskuze, která se zaměřuje na následující témata:
    • Celkový dojem z obsahu školení.
    • Srozumitelnost a struktura jednotlivých modulů.
    • Použitelnost platformy a technické problémy.
    • Doporučení na zlepšení obsahu a formy.

Analýza výsledků

Evaluace školení přináší řadu užitečných poznatků, které jsou klíčové pro přípravu plnohodnotného workshopu. Jsou identifikovány silné stránky, jako je struktura a srozumitelnost obsahu (byť bylo doporučeno zestručnění a přepis některých textů, aby byly přínosnější a méně tzv. „ukecané“), ale také oblasti, které vyžadují další zlepšení, například potřeba více praktických příkladů a vizuálních prvků. Následující analýza poskytuje podrobný přehled o zpětné vazbě účastníků, která reflektuje klíčové cíle formativní evaluace workshopu a poskytuje konkrétní návrhy na jeho optimalizaci.

[Poznámka: Namátkové testování jsem prováděl také s některými uživateli, kteří měli přístup pouze k pracovní verzi textového obsahu a neměli přístup přímo k do aplikační platformy (podobné Moodle) – výsledky se významně lišili, neboť přicházeli o aplikační komfort, museli podstoupit zápas s MS Excelem atd. Proto ze relevantnější považuji výsledky z testů prováděných s uživateli přímo v aplikační platformě podobné Moodle.]

📊 ❓ 📝 Celkový dojem z obsahu školení

Účastníci se shodují, že obsah školení je dobře strukturovaný a přehledný. Téma je podle nich „nakonec“ srozumitelné a uchopitelné, přičemž oceňují, že se školení zaměřuje na klíčové koncepty a poskytuje základní rámec problematiky. Všichni však vyjadřují obavy, zda bude obsah stejně uchopitelný i pro širší skupinu zaměstnanců, kteří mohou mít různou úroveň předchozích znalostí nebo odlišné profesní zaměření. Vnímají tedy, že některé části mohou být náročné pro méně obeznámené účastníky. Doporučují některé části zestručnit a textově upravit, aby obsah byl přijatelnější).

Účastníci také velmi pozitivně hodnotí skutečnost, že za každým modulem je zařazena jednoduchá otázka k ověření pochopení obsahu a že mají možnost položit vlastní dotazy nebo sdělit svůj dojem. Tato kombinace jim umožňuje nejen reflektovat obsah, ale také vyjádřit případné nejasnosti.

📊 ❓ 📝 Srozumitelnost a struktura jednotlivých modulů

Struktura školení je hodnocena jako intuitivní a logická (posloupné a přímočaré události, bez nějakých zádrhelů). Postupné členění modulů umožňuje účastníkům snadno sledovat obsah a zaměřit se na jednotlivá témata bez pocitu zahlcení. Všichni se shodují, že otázky k zamyšlení na začátku školení jim pomáhají propojit nové informace s jejich předchozími znalostmi. Doporučují, aby podobné otázky byly zahrnuty i v dalších částech modulů, protože podporují přemýšlení a lepší zapojení. (jinak viz již zmíněné připomínky k tzv. „ukecanosti“ některých textů).Jeden kolega se pozastavil nad pojmem „inherentní“ – musel dodatečně zjišťovat přes Google, aby pochopil, co toto slovo znamená (v tomto případě je vidět, že zatímco pro mě osobně je toto slovo přirozené a asi dáno běžným používáním v oblasti „akademičtější kvalitařiny“, pro mnohé jinak specializované odborníky to může být pojem neznámý – a zaítmco pro mě je dobrodružné objevovat nová slova a perspektivy, jiní lidé toto sdílet nemusí) – proto se zkusím také zaměřit na lepší srozumitelnost textů.

📊 ❓ 📝 Použitelnost platformy a technické problémy

Platformu, na které školení probíhá, všichni účastníci již znají a jsou na ni zvyklí. Proto nemají žádné problémy s orientací ani používáním jejích funkcí. Navigace mezi moduly je hodnocena jako intuitivní a účelná, což jim umožňuje plně se soustředit na obsah. [Pozn. tady byl znatelný rozdíl v porovnání s testováním nad hrubou pracovní verzí v MS Excel, kdy se ukázalo, že použité rozhraní je zásadní]

Technické problémy nejsou zaznamenány. Elektronické podepisování certifikátů není pro nikoho novinkou (děje se tak i v případě dalších školení), ale nechápou jeho význam. Jeden z účastníků navrhuje, že pro novější uživatele platformy by mohlo být přínosné přidat úvodní video nebo stručnou příručku k jejímu používání.

📊 ❓ 📝 Průběh školení a časová náročnost

Průběh školení se mezi jednotlivými účastníky výrazně liší. Jeden z účastníků zvládá celé školení za přibližně jednu hodinu, protože jím spíše „prolétá“ a zaměřuje se na klíčové informace. Druhý věnuje školení dvě hodiny, přičemž se detailněji soustředí na jednotlivé části a snaží se aktivně reflektovat obsah. Třetí účastník tráví se školením více než tři hodiny, přičemž si ho rozkládá na několik úseků. Na rozdíl od ostatních si během školení dohledává další informace, aby si rozšířil znalosti v konkrétních oblastech.

Doporučení na zlepšení obsahu a formy

Na základě zpětné vazby od účastníků a pozorování průběhu školení jsou navržena následující vylepšení:

  • 💡 Přizpůsobení certifikačního procesu: Elektronické podepisování certifikátů není problémem, ale účastníci by ocenili, kdyby byl lépe vysvětlen jeho význam a výhody v kontextu organizačních procesů.
  • 💡 Zařazení vizuálních prvků: Pavel a Monika doporučují doplnit školení o diagramy, grafy nebo jiné vizuální materiály, které by usnadnily pochopení složitějších konceptů. Vizuální prvky by mohly zvýšit přístupnost a atraktivitu obsahu, zejména pro účastníky s preferencí vizuálního stylu učení.
  • 💡 Rozšíření praktických příkladů: Monika zdůrazňuje potřebu více konkrétních příkladů a případových studií, které by ukázaly aplikaci teoretických konceptů v praxi. Doplnění těchto prvků by bylo přínosné zejména pro účastníky z oblasti projektového řízení, kteří se zaměřují na propojení teorie s každodenními činnostmi.
  • 💡 Interaktivní prvky: Josef navrhuje zařazení interaktivních kvízů nebo jiných aktivit mezi moduly. Tyto aktivity by mohly účastníkům pomoci upevnit si znalosti, zlepšit zapojení a podpořit aktivní učení. Interaktivní prvky by zároveň mohly zpomalit „rychlé prolétnutí“ školením a motivovat účastníky k hlubšímu přemýšlení.
  • 💡 Přizpůsobení rozsahu a hloubky: Různá délka absolvování školení naznačuje, že je vhodné umožnit flexibilní přístup, který by respektoval odlišné styly učení. Pro pokročilejší účastníky by mohlo být užitečné doporučit další zdroje nebo rozšiřující moduly pro samostudium, zatímco méně zkušení účastníci by ocenili doplnění glosáře a detailnější vysvětlení odborných pojmů.
  • 💡 Vylepšení úvodních pokynů: Přestože účastníci jsou na platformu zvyklí, doporučili zařadit krátké úvodní video nebo příručku pro nové uživatele. To by zajistilo hladké zapojení i těch, kteří nejsou s prostředím platformy obeznámeni.
  • 💡 Jazyková korektura a zvážení přeformulování některých termínů a vět: V podkladech se aktuálně vyskytují mluvnické „překlepy“ – ty bude vhodné opravit a před vydáním provést důkladnější jazykovou korekturu. Pojmu „Lidé & Designové perspektivy (v širším pojetí systémového myšlení)“ není příliš rozuměno – zejména v souvislosti „Design“, který v kontextu bezpečného vývoje má svůj specifický oborový význam. Bylo navrženo použít pojem „Lide & systémové myšlení“). Byly označeny i texty, které bez velkého soustředění nemusí být hned srozumitelné => přeformulovat.

Školení splňuje svůj základní cíl – představit klíčové koncepty bezpečného vývoje softwaru ve srozumitelné a přehledné formě. Účastníci oceňují jeho strukturu, otázky k zamyšlení na konci modulů a celkové technické provedení. Rozdílné přístupy k délce a hloubce absolvování školení naznačují, že formát je flexibilní, avšak vyžaduje úpravy, které by zvýšily jeho přístupnost a interaktivitu. Doplnění vizuálních prvků, praktických příkladů a větší podpory pro novější uživatele zajistí, že školení bude lépe odpovídat potřebám širší skupiny účastníků. Tyto poznatky budou zásadní také při přípravě plnohodnotného workshopu, který musí zohlednit různorodost publika.

Co ve školení vylepším?

V prvé řadě přepíši texty – jádro zůstane, avšak změním formulace tak, aby byly méně „ukecané“, lépe čitelné [Poznámka: Na tento problém upozorním i tvůrce rámce SAMM, ze kterého jsem vycházel primárně].

Na základě zjištění z evaluace se zaměřím na optimalizaci školení pouze v určitých oblastech, přičemž klíčovým faktorem zůstane udržení nákladového rámce. Vzhledem k tomu, že školení bude absolvovat několik stovek zaměstnanců, je nezbytné zachovat rozumné náklady jak z hlediska tvorby školení, tak z pohledu času, který mohou zaměstnanci na školení vyčlenit. Časová náročnost a náklady na jednotlivce se v takovém měřítku výrazně násobí, což vyžaduje pečlivé zvažování všech navrhovaných úprav.

Plánuji zapracovat několik vizuálních prvků, jako jsou obrázky nebo grafy, které mohou zlepšit přehlednost a srozumitelnost složitějších konceptů. Tyto prvky budou pečlivě voleny tak, aby nenavyšovaly časovou náročnost školení a zároveň přinášely konkrétní přidanou hodnotu.

Dále prozkoumám organizační potřebu podepisování závěrečného certifikátu a jeho následného zasílání konkrétní osobě. Pokud by školící platforma umožňovala tento proces automatizovat, mohl by být zjednodušen a tím by se snížily administrativní náklady a časová zátěž.

Zamyslím se také nad možností rozšíření oblíbených otázek k zamyšlení, které účastníci hodnotili velmi pozitivně. Tyto otázky podporují reflexi a aktivní zapojení, nicméně jejich zařazení musí být citlivě vyváženo s ohledem na celkovou časovou náročnost školení. Pokusím se najít způsoby, jak je efektivně začlenit, aniž by to zvyšovalo nároky na čas nebo odčerpávalo pozornost od klíčových modulů.

Budu preferovat, aby školení bylo mezi zaměstnance zaváděno postupně – nejdříve pilotně, následně s dalšími množinami účastníků – tak bude ještě možnost případné nedostatky postupně vyladit. Tak jako tak, do budoucna se školení bude vyvíjet dynamicky – iterativně ve spolupráci s absolventy školení.

Tato opatření zajistí, že školení zůstane nákladově efektivní a časově dostupné, přičemž reflektuje zpětnou vazbu a zvyšuje svou hodnotu pro účastníky.

Evaluace školení jako formativní evaluace workshopu

Evaluace školení přináší klíčové poznatky, které výrazně přispějí k přípravě a dokončení plnohodnotného workshopu o bezpečném vývoji softwaru. Tento proces umožnil identifikovat silné stránky vzdělávacího objektu, jako jsou jeho struktura, otázky k zamyšlení a přehlednost obsahu, a současně upozorňuje na oblasti vyžadující další zlepšení. Díky tomu evaluace školení poskytuje inspiraci pro nové přístupy, které zajistí větší efektivitu a přístupnost workshopu.

Hlavním přínosem evaluace je potvrzení, že základní koncepty a struktura školení odpovídají potřebám cílové skupiny. Nicméně některé prvky, jako jsou praktické příklady a vizuální materiály, by mohly dále zvýšit atraktivitu a srozumitelnost obsahu. Evaluace rovněž odhaluje důležitost technických a administrativních procesů, například elektronického podepisování certifikátů, které by mohly být automatizovány a lépe integrovány do platformy, což by přispělo ke snížení organizační náročnosti.

Z formativní evaluace školení vyplývají tyto klíčové body, které přímo reflektují cíle evaluace workshopu:

  • Srozumitelnost a struktura obsahu: Školení potvrzuje, že dobře strukturovaný a přehledný obsah podporuje pochopení klíčových témat. Současně však poukazuje na potřebu přizpůsobit obsah tak, aby byl přístupný pro širší publikum s různou úrovní předchozích znalostí. Tento poznatek povede k optimalizaci struktury workshopu. Bude zapotřebí vhodně volit textaci (a další obsah) tak, aby záměr školení se co nejvíce přiblížil ideálu.
  • Efektivita interaktivních prvků: Reflexivní otázky jsou účastníky vysoce oceněny jako nástroj podporující zapojení a hlubší pochopení témat. Workshop by měl tento prvek rozšířit, ale s ohledem na rovnováhu mezi jejich počtem a časovou náročností.
  • Uživatelská přívětivost platformy: Evaluace potvrzuje, že platforma splňuje požadavky na intuitivnost a snadnou orientaci, což eliminuje potřebu zásadních technických úprav. Přesto je navrženo zjednodušení některých procesů, jako je certifikace, pro další zvýšení efektivity.
  • Flexibilita vzdělávacího programu: Rozmanité přístupy účastníků ke školení ukazují na potřebu flexibilního formátu workshopu, který umožňují rozšiřující materiály pro pokročilejší účastníky a současně zachovává přístupnost pro méně zkušené.
  • Respektování časových omezení: Při implementaci změn bude klíčové zohlednit časová a organizační omezení cílové skupiny, aby workshop zůstal proveditelný pro široké publikum.

Závěrem lze konstatovat, že evaluace školení poskytuje jasnou reflexi, která umožní efektivně upravit obsah, strukturu a technické zázemí nejen školení, ale i budoucího workshopu. Tím zajistí, že finální vzdělávací program bude nejen odpovídat očekáváním cílové skupiny, ale také zohlední rozdílné potřeby a kapacity jednotlivých účastníků. Formativní evaluace prostřednictvím školení tak vytvořila pevný základ pro úspěšnou realizaci workshopu.

Reflexe k procesu evaluace

Proces evaluace školení byl nejen užitečný, ale také pragmatický způsob, jak provést formativní evaluaci připravovaného workshopu. Tímto přístupem jsem nejen vytvořil samotné školení (jakožto původně neplánovaný vzdělávací objekt), ale zároveň ověřil některé klíčové prvky a přístupy, které mohou být implementovány do finálního workshopu. Evaluace přinesla cenné poznatky, ovšem její realizace i následné úpravy školení byly ovlivněny požadavky organizace, pro kterou je projekt určen. Takzvaně jsem „zabil dvě mouchy jednou ranou“ – snad jsem splnil univerzitní úkol a zároveň jsem vypracoval školení pro nejmenovanou organizaci… a do třetice – snad se mi podaří workshop dotáhnout do zdárného konce.

Jedním z hlavních omezení byla nutnost držet náklady v přijatelných mezích, což zahrnovalo jak vývoj samotného školení, tak jeho časovou náročnost. S ohledem na skutečnost, že školení má absolvovat několik stovek zaměstnanců, je třeba každou potenciální změnu pečlivě zvážit, aby se nezvýšila časová náročnost školení, která by přímo ovlivnila celkové náklady organizace (např. pokud by se průměrný čas školení prodloužil o řádově hodiny, pak by to organizaci mohlo stát řádově statisíce Kč v lidských zdrojích více). Toto omezení kladlo/klade důraz na efektivitu evaluace, která musela přinést relevantní a aplikovatelné poznatky bez zbytečného navyšování zdrojů.

Evaluace potvrdila, že školení jako zmenšený model workshopu dobře splňuje svůj účel. Poskytla prostor pro testování obsahu, technických prvků a přístupu účastníků, přičemž všechny tyto aspekty přispěly k návrhu smysluplných úprav. Tento přístup tak umožnil získat zpětnou vazbu při současném vytváření užitečných výstupů, které přesahují rámec školení. Mezi tyto výstupy patří například překlady vybraných materiálů do češtiny, jež mohou být využity nejen ve workshopu, ale i v rámci širšího projektu OWASP SAMM, s jehož správci jsem v úzkém kontaktu.

Zkušenost s tímto procesem hodnotím pozitivně, neboť přinesla praktické výsledky a zároveň umožnila efektivně propojit ověřování obsahu s přípravou na jeho praktickou realizaci. Tento přístup respektuje časové, organizační i finanční limity a ukazuje, jak lze evaluaci využít jako nástroj ke zlepšení obsahu i formy – jak školení, tak workshopu. Tento model může být inspirací pro podobné projekty, kde je klíčové skloubit vysokou kvalitu a efektivitu.

Zdroje

[1] Úvodní obrázek byl generován pomocí AI Chat GPT DALL-E dne 29. 12. 2024.
[2] Projekt je realizován jako součást předmětu Learning Design (M. Černý, S. Kramosilová) v rámci oboru Design informačních služeb na Filozofické fakultě Masarykovy univerzity, 2024.
[3] OWASP SAMM: https://owaspsamm.org/
[4] OWASP SAMM – projektová stránka: https://owasp.org/www-project-samm/
[5] Výběr frameworku pro bezpečný vývoj SW: https://www.silenceplease.cz/vyber-frameworku-pro-bezpecny-vyvoj-sw/
[6] Design služeb a vývoj bezpečného SW s OWASP SAMM: https://www.silenceplease.cz/design-sluzeb-a-vyvoj-bezpecneho-sw_s_owasp_samm/
[6] Proč by nás měl zajímat OWASP SAMM?: https://www.silenceplease.cz/proc-by-nas-mel-zajimat-owasp-samm/
[8] Hodnotící rozhovor OWASP SAMM česky: https://www.silenceplease.cz/hodnotici-rozhovor-owasp-samm-cesky/
[9] Stručný průvodce OWASP SAMM – tentokrát česky: https://www.silenceplease.cz/strucny-pruvodce-owasp-samm-tentokrat-cesky/

Published in Kyberbezpečnost