.github/workflows/functional_test.sh

   1 #!/bin/sh
   2
   3 set -x
   4 set -e
   5
   6 echo "Beginning of the functional tests"
   7
   8 echo ">>>>> get help <<<<<"
   9 coverage run -a --branch bin/kconfig-hardened-check
  10 coverage run -a --branch bin/kconfig-hardened-check -h
  11
  12 echo ">>>>> get version <<<<<"
  13 coverage run -a --branch bin/kconfig-hardened-check --version
  14
  15 echo ">>>>> print the security hardening recommendations <<<<<"
  16 coverage run -a --branch bin/kconfig-hardened-check -p X86_64
  17 coverage run -a --branch bin/kconfig-hardened-check -p X86_64 -m verbose
  18 coverage run -a --branch bin/kconfig-hardened-check -p X86_64 -m json
  19
  20 coverage run -a --branch bin/kconfig-hardened-check -p X86_32
  21 coverage run -a --branch bin/kconfig-hardened-check -p X86_32 -m verbose
  22 coverage run -a --branch bin/kconfig-hardened-check -p X86_32 -m json
  23
  24 coverage run -a --branch bin/kconfig-hardened-check -p ARM64
  25 coverage run -a --branch bin/kconfig-hardened-check -p ARM64 -m verbose
  26 coverage run -a --branch bin/kconfig-hardened-check -p ARM64 -m json
  27
  28 coverage run -a --branch bin/kconfig-hardened-check -p ARM
  29 coverage run -a --branch bin/kconfig-hardened-check -p ARM -m verbose
  30 coverage run -a --branch bin/kconfig-hardened-check -p ARM -m json
  31
  32 echo ">>>>> generate the Kconfig fragment <<<<<"
  33 coverage run -a --branch bin/kconfig-hardened-check -g X86_64
  34 coverage run -a --branch bin/kconfig-hardened-check -g X86_32
  35 coverage run -a --branch bin/kconfig-hardened-check -g ARM64
  36 coverage run -a --branch bin/kconfig-hardened-check -g ARM
  37
  38 echo ">>>>> check the example kconfig files and cmdline <<<<<"
  39 cat /proc/cmdline
  40 echo "l1tf=off mds=full randomize_kstack_offset=on iommu.passthrough=0" > ./cmdline_example
  41 cat ./cmdline_example
  42 CONFIG_DIR=`find . -name config_files`
  43 KCONFIGS=`find $CONFIG_DIR -type f | grep -e "\.config" -e "\.gz"`
  44 COUNT=0
  45 for C in $KCONFIGS
  46 do
  47         COUNT=$(expr $COUNT + 1)
  48         echo "\n>>>>> checking kconfig number $COUNT <<<<<"
  49         coverage run -a --branch bin/kconfig-hardened-check -c $C > /dev/null
  50         coverage run -a --branch bin/kconfig-hardened-check -c $C -m verbose > /dev/null
  51         coverage run -a --branch bin/kconfig-hardened-check -c $C -l /proc/cmdline > /dev/null
  52         coverage run -a --branch bin/kconfig-hardened-check -c $C -l ./cmdline_example > /dev/null
  53         coverage run -a --branch bin/kconfig-hardened-check -c $C -l ./cmdline_example -m verbose > /dev/null
  54         coverage run -a --branch bin/kconfig-hardened-check -c $C -l ./cmdline_example -m json > /dev/null
  55         coverage run -a --branch bin/kconfig-hardened-check -c $C -l ./cmdline_example -m show_ok > /dev/null
  56         coverage run -a --branch bin/kconfig-hardened-check -c $C -l ./cmdline_example -m show_fail > /dev/null
  57 done
  58 echo "\n>>>>> have checked $COUNT kconfigs <<<<<"
  59
  60 echo "Collect coverage for error handling"
  61
  62 echo ">>>>> -c and -p together <<<<<"
  63 coverage run -a --branch bin/kconfig-hardened-check -p X86_64 -c kconfig_hardened_check/config_files/distros/fedora_34.config && exit 1
  64
  65 echo ">>>>> -c and -g together <<<<<"
  66 coverage run -a --branch bin/kconfig-hardened-check -g X86_64 -c kconfig_hardened_check/config_files/distros/fedora_34.config && exit 1
  67
  68 echo ">>>>> -p and -g together <<<<<"
  69 coverage run -a --branch bin/kconfig-hardened-check -p X86_64 -g X86_64 && exit 1
  70
  71 echo ">>>>> -l without -c <<<<<"
  72 coverage run -a --branch bin/kconfig-hardened-check -l /proc/cmdline && exit 1
  73
  74 echo ">>>>> wrong modes for -p <<<<<"
  75 coverage run -a --branch bin/kconfig-hardened-check -p X86_64 -m show_ok && exit 1
  76 coverage run -a --branch bin/kconfig-hardened-check -p X86_64 -m show_fail && exit 1
  77
  78 echo ">>>>> wrong mode for -g <<<<<"
  79 coverage run -a --branch bin/kconfig-hardened-check -g X86_64 -m show_ok && exit 1
  80
  81 cp kconfig_hardened_check/config_files/distros/fedora_34.config ./test.config
  82
  83 echo ">>>>> no kernel version <<<<<"
  84 sed '3d' test.config > error.config
  85 coverage run -a --branch bin/kconfig-hardened-check -c error.config && exit 1
  86
  87 echo ">>>>> strange kernel version string <<<<<"
  88 sed '3 s/5./version 5./' test.config > error.config
  89 coverage run -a --branch bin/kconfig-hardened-check -c error.config && exit 1
  90
  91 echo ">>>>> no arch <<<<<"
  92 sed '305d' test.config > error.config
  93 coverage run -a --branch bin/kconfig-hardened-check -c error.config && exit 1
  94
  95 echo ">>>>> more than one arch <<<<<"
  96 cp test.config error.config
  97 echo 'CONFIG_ARM64=y' >> error.config
  98 coverage run -a --branch bin/kconfig-hardened-check -c error.config && exit 1
  99
 100 echo ">>>>> invalid enabled kconfig option <<<<<"
 101 cp test.config error.config
 102 echo 'CONFIG_FOO=is not set' >> error.config
 103 coverage run -a --branch bin/kconfig-hardened-check -c error.config && exit 1
 104
 105 echo ">>>>> one config option multiple times <<<<<"
 106 cp test.config error.config
 107 echo 'CONFIG_BUG=y' >> error.config
 108 coverage run -a --branch bin/kconfig-hardened-check -c error.config && exit 1
 109
 110 echo ">>>>> invalid compiler versions <<<<<"
 111 cp test.config error.config
 112 sed '8 s/CONFIG_CLANG_VERSION=0/CONFIG_CLANG_VERSION=120000/' test.config > error.config
 113 coverage run -a --branch bin/kconfig-hardened-check -c error.config && exit 1
 114
 115 echo ">>>>> multi-line cmdline file <<<<<"
 116 echo 'hey man 1' > cmdline
 117 echo 'hey man 2' >> cmdline
 118 coverage run -a --branch bin/kconfig-hardened-check -c test.config -l cmdline && exit 1
 119
 120 echo "The end of the functional tests"