+ wait_for_file /etc/pki/CA/cacert.pem
+ local file=/etc/pki/CA/cacert.pem
+ '[' '!' -f /etc/pki/CA/cacert.pem ']'
+ sleep 1
+ '[' '!' -f /etc/pki/CA/cacert.pem ']'
+ sleep 1
+ '[' '!' -f /etc/pki/CA/cacert.pem ']'
+ sleep 1
+ '[' '!' -f /etc/pki/CA/cacert.pem ']'
+ sleep 1
+ '[' '!' -f /etc/pki/CA/cacert.pem ']'
+ sleep 1
+ '[' '!' -f /etc/pki/CA/cacert.pem ']'
+ wait_for_file /etc/pki/qemu/ca-cert.pem
+ local file=/etc/pki/qemu/ca-cert.pem
+ '[' '!' -f /etc/pki/qemu/ca-cert.pem ']'
+ wait_for_file /etc/pki/libvirt/servercert.pem
+ local file=/etc/pki/libvirt/servercert.pem
+ '[' '!' -f /etc/pki/libvirt/servercert.pem ']'
+ wait_for_file /etc/pki/libvirt/clientcert.pem
+ local file=/etc/pki/libvirt/clientcert.pem
+ '[' '!' -f /etc/pki/libvirt/clientcert.pem ']'
+ wait_for_file /etc/pki/qemu/server-cert.pem
+ local file=/etc/pki/qemu/server-cert.pem
+ '[' '!' -f /etc/pki/qemu/server-cert.pem ']'
+ wait_for_file /etc/pki/qemu/client-cert.pem
+ local file=/etc/pki/qemu/client-cert.pem
+ '[' '!' -f /etc/pki/qemu/client-cert.pem ']'
+ wait_for_file /etc/pki/libvirt/private/serverkey.pem
+ local file=/etc/pki/libvirt/private/serverkey.pem
+ '[' '!' -f /etc/pki/libvirt/private/serverkey.pem ']'
+ wait_for_file /etc/pki/libvirt/private/clientkey.pem
+ local file=/etc/pki/libvirt/private/clientkey.pem
+ '[' '!' -f /etc/pki/libvirt/private/clientkey.pem ']'
+ wait_for_file /etc/pki/qemu/server-key.pem
+ local file=/etc/pki/qemu/server-key.pem
+ '[' '!' -f /etc/pki/qemu/server-key.pem ']'
+ wait_for_file /etc/pki/qemu/client-key.pem
+ local file=/etc/pki/qemu/client-key.pem
+ '[' '!' -f /etc/pki/qemu/client-key.pem ']'
+ wait_for_file /etc/pki/libvirt-vnc/ca-cert.pem
+ local file=/etc/pki/libvirt-vnc/ca-cert.pem
+ '[' '!' -f /etc/pki/libvirt-vnc/ca-cert.pem ']'
+ wait_for_file /etc/pki/libvirt-vnc/server-cert.pem
+ local file=/etc/pki/libvirt-vnc/server-cert.pem
+ '[' '!' -f /etc/pki/libvirt-vnc/server-cert.pem ']'
+ wait_for_file /etc/pki/libvirt-vnc/server-key.pem
+ local file=/etc/pki/libvirt-vnc/server-key.pem
+ '[' '!' -f /etc/pki/libvirt-vnc/server-key.pem ']'
++ grep -w libvirtd
++ cat /proc/1/comm /proc/10/comm /proc/100/comm /proc/100850/comm /proc/102/comm /proc/102334/comm /proc/103/comm /proc/10335/comm /proc/104/comm /proc/104235/comm /proc/105/comm /proc/105524/comm /proc/106/comm /proc/106690/comm /proc/108/comm /proc/10842/comm /proc/10843/comm /proc/109/comm /proc/1094/comm /proc/11/comm /proc/110/comm /proc/111/comm /proc/112/comm /proc/113/comm /proc/113359/comm /proc/113383/comm /proc/113459/comm /proc/113753/comm /proc/113768/comm /proc/113769/comm /proc/114/comm /proc/115/comm /proc/115264/comm /proc/115288/comm /proc/115310/comm /proc/115333/comm /proc/115660/comm /proc/115760/comm /proc/115940/comm /proc/115946/comm /proc/115948/comm /proc/116/comm /proc/116525/comm /proc/116539/comm /proc/116879/comm /proc/117/comm /proc/117448/comm /proc/117471/comm /proc/117672/comm /proc/117689/comm /proc/117695/comm /proc/117804/comm /proc/117805/comm /proc/117815/comm /proc/117906/comm /proc/119180/comm /proc/119205/comm /proc/119239/comm /proc/119272/comm /proc/119711/comm /proc/12/comm /proc/121409/comm /proc/122055/comm /proc/12231/comm /proc/12263/comm /proc/12306/comm /proc/123239/comm /proc/12342/comm /proc/12356/comm /proc/124367/comm /proc/125805/comm /proc/125808/comm /proc/12592/comm /proc/12623/comm /proc/126790/comm /proc/12681/comm /proc/126873/comm /proc/12706/comm /proc/12726/comm /proc/128022/comm /proc/129469/comm /proc/129482/comm /proc/129483/comm /proc/13/comm /proc/131173/comm /proc/14/comm /proc/142000/comm /proc/1425/comm /proc/143197/comm /proc/143224/comm /proc/143250/comm /proc/143285/comm /proc/143797/comm /proc/143935/comm /proc/144260/comm /proc/144480/comm /proc/145908/comm /proc/145932/comm /proc/147243/comm /proc/15/comm /proc/150090/comm /proc/151092/comm /proc/151197/comm /proc/151729/comm /proc/151882/comm /proc/151911/comm /proc/151912/comm /proc/153869/comm /proc/153870/comm /proc/1543/comm /proc/1544/comm /proc/1545/comm /proc/1546/comm /proc/1550/comm /proc/16/comm /proc/160919/comm /proc/160920/comm /proc/160922/comm /proc/160923/comm /proc/161130/comm /proc/1617/comm /proc/161759/comm /proc/161783/comm /proc/161852/comm /proc/161856/comm /proc/1621/comm /proc/162203/comm /proc/162238/comm /proc/162250/comm /proc/162282/comm /proc/162283/comm /proc/162284/comm /proc/162285/comm /proc/162784/comm /proc/162810/comm /proc/1630/comm /proc/163598/comm /proc/163667/comm /proc/163674/comm /proc/163678/comm /proc/164034/comm /proc/164059/comm /proc/164075/comm /proc/164100/comm /proc/164265/comm /proc/164267/comm /proc/164302/comm /proc/164326/comm /proc/164370/comm /proc/164388/comm /proc/164483/comm /proc/164540/comm /proc/164660/comm /proc/164684/comm /proc/164907/comm /proc/165/comm /proc/165112/comm /proc/165117/comm /proc/165317/comm /proc/165580/comm /proc/165629/comm /proc/165638/comm /proc/165876/comm /proc/165899/comm /proc/166/comm /proc/166025/comm /proc/166044/comm /proc/166050/comm /proc/166108/comm /proc/166109/comm /proc/166119/comm /proc/166305/comm /proc/167/comm /proc/168/comm /proc/168109/comm /proc/168139/comm /proc/168250/comm /proc/168422/comm /proc/168448/comm /proc/168559/comm /proc/168595/comm /proc/168604/comm /proc/168632/comm /proc/168682/comm /proc/168717/comm /proc/168834/comm /proc/168869/comm /proc/168912/comm /proc/169/comm /proc/169108/comm /proc/169132/comm /proc/170/comm /proc/170797/comm /proc/171/comm /proc/172/comm /proc/173/comm /proc/174962/comm /proc/175/comm /proc/175012/comm /proc/175019/comm /proc/175040/comm /proc/175041/comm /proc/176395/comm /proc/176396/comm /proc/176397/comm /proc/176402/comm /proc/176714/comm /proc/177/comm /proc/177716/comm /proc/177728/comm /proc/178/comm /proc/179707/comm /proc/179741/comm /proc/179742/comm /proc/179896/comm /proc/179912/comm /proc/179913/comm /proc/18/comm /proc/180/comm /proc/180372/comm /proc/180523/comm /proc/180740/comm /proc/180750/comm /proc/180769/comm /proc/180770/comm /proc/180776/comm /proc/180777/comm /proc/181612/comm /proc/181622/comm /proc/181693/comm /proc/181784/comm /proc/181807/comm /proc/181978/comm /proc/181998/comm /proc/182/comm /proc/182015/comm /proc/182021/comm /proc/182167/comm /proc/182168/comm /proc/182201/comm /proc/182279/comm /proc/183/comm /proc/183758/comm /proc/183772/comm /proc/183844/comm /proc/183848/comm /proc/183855/comm /proc/183944/comm /proc/184157/comm /proc/184184/comm /proc/184203/comm /proc/184236/comm /proc/185/comm /proc/185021/comm /proc/185043/comm /proc/186/comm /proc/18667/comm /proc/18687/comm /proc/187/comm /proc/18705/comm /proc/18733/comm /proc/18752/comm /proc/188/comm /proc/188174/comm /proc/188219/comm /proc/188318/comm /proc/188329/comm /proc/188837/comm /proc/188840/comm /proc/189247/comm /proc/189734/comm /proc/189757/comm /proc/19/comm /proc/190/comm /proc/190305/comm /proc/190345/comm /proc/190421/comm /proc/190447/comm /proc/190530/comm /proc/190538/comm /proc/190736/comm /proc/194006/comm /proc/194020/comm /proc/194233/comm /proc/194234/comm /proc/194235/comm /proc/194447/comm /proc/194669/comm /proc/194707/comm /proc/194713/comm /proc/194770/comm /proc/194775/comm /proc/194776/comm /proc/194789/comm /proc/194802/comm /proc/194803/comm /proc/194874/comm /proc/195082/comm /proc/195283/comm /proc/195331/comm /proc/195358/comm /proc/195407/comm /proc/195409/comm /proc/195411/comm /proc/195466/comm /proc/195470/comm /proc/195471/comm /proc/195472/comm /proc/195473/comm /proc/195474/comm /proc/195475/comm /proc/195586/comm /proc/195645/comm /proc/195670/comm /proc/195686/comm /proc/195728/comm /proc/195729/comm /proc/195730/comm /proc/2/comm /proc/20/comm /proc/203/comm /proc/204/comm /proc/205/comm /proc/207/comm /proc/209/comm /proc/21/comm /proc/21660/comm /proc/217/comm /proc/21728/comm /proc/21729/comm /proc/21742/comm /proc/22/comm /proc/221/comm /proc/222/comm /proc/227/comm /proc/24/comm /proc/249/comm /proc/24972/comm /proc/25/comm /proc/25240/comm /proc/25258/comm /proc/25283/comm /proc/25295/comm /proc/26/comm /proc/27/comm /proc/270/comm /proc/28/comm /proc/286/comm /proc/292/comm /proc/293/comm /proc/29555/comm /proc/29825/comm /proc/29842/comm /proc/29866/comm /proc/29878/comm /proc/3/comm /proc/30/comm /proc/30379/comm /proc/31/comm /proc/312/comm /proc/313/comm /proc/317/comm /proc/318/comm /proc/319/comm /proc/32/comm /proc/320/comm /proc/321/comm /proc/322/comm /proc/323/comm /proc/324/comm /proc/33/comm /proc/34/comm /proc/34363/comm /proc/34630/comm /proc/34646/comm /proc/34671/comm /proc/34683/comm /proc/35180/comm /proc/353/comm /proc/36/comm /proc/365/comm /proc/37/comm /proc/37829/comm /proc/38/comm /proc/384/comm /proc/38988/comm /proc/38990/comm /proc/39/comm /proc/39158/comm /proc/39178/comm /proc/39204/comm /proc/39237/comm /proc/39257/comm /proc/397/comm /proc/4/comm /proc/40/comm /proc/403/comm /proc/41725/comm /proc/41749/comm /proc/41776/comm /proc/41778/comm /proc/41799/comm /proc/41842/comm /proc/41855/comm /proc/41861/comm /proc/41875/comm /proc/41901/comm /proc/41988/comm /proc/41994/comm /proc/42/comm /proc/42004/comm /proc/42081/comm /proc/42133/comm /proc/42189/comm /proc/42330/comm /proc/42355/comm /proc/42380/comm /proc/43/comm /proc/43064/comm /proc/43090/comm /proc/43108/comm /proc/43129/comm /proc/43381/comm /proc/43579/comm /proc/43592/comm /proc/44/comm /proc/44001/comm /proc/44409/comm /proc/44432/comm /proc/44459/comm /proc/44799/comm /proc/44822/comm /proc/44838/comm /proc/44861/comm /proc/44895/comm /proc/44928/comm /proc/45/comm /proc/45303/comm /proc/45328/comm /proc/45470/comm /proc/456/comm /proc/45819/comm /proc/45845/comm /proc/45885/comm /proc/45897/comm /proc/45942/comm /proc/45954/comm /proc/46/comm /proc/46045/comm /proc/46094/comm /proc/46139/comm /proc/47974/comm /proc/48/comm /proc/48004/comm /proc/48083/comm /proc/48106/comm /proc/48321/comm /proc/48334/comm /proc/48403/comm /proc/48474/comm /proc/49/comm /proc/49022/comm /proc/49063/comm /proc/49118/comm /proc/49141/comm /proc/49188/comm /proc/49293/comm /proc/49484/comm /proc/49507/comm /proc/49621/comm /proc/49756/comm /proc/49785/comm /proc/5/comm /proc/50/comm /proc/50145/comm /proc/50169/comm /proc/50290/comm /proc/50343/comm /proc/50440/comm /proc/50470/comm /proc/50544/comm /proc/50602/comm /proc/51/comm /proc/51546/comm /proc/52/comm /proc/52413/comm /proc/52436/comm /proc/52497/comm /proc/526/comm /proc/52734/comm /proc/52758/comm /proc/52786/comm /proc/52895/comm /proc/53083/comm /proc/54/comm /proc/55/comm /proc/56/comm /proc/57/comm /proc/57874/comm /proc/57898/comm /proc/58/comm /proc/58582/comm /proc/58611/comm /proc/58638/comm /proc/58664/comm /proc/58679/comm /proc/58703/comm /proc/58816/comm /proc/58840/comm /proc/58914/comm /proc/59022/comm /proc/59065/comm /proc/59171/comm /proc/6/comm /proc/60/comm /proc/61/comm /proc/618/comm /proc/62/comm /proc/622/comm /proc/624/comm /proc/63/comm /proc/633/comm /proc/634/comm /proc/63995/comm /proc/64/comm /proc/64009/comm /proc/64057/comm /proc/641/comm /proc/64155/comm /proc/64180/comm /proc/64209/comm /proc/64235/comm /proc/64255/comm /proc/64278/comm /proc/64341/comm /proc/64342/comm /proc/64343/comm /proc/64505/comm /proc/65026/comm /proc/65051/comm /proc/651/comm /proc/65199/comm /proc/65320/comm /proc/65321/comm /proc/65322/comm /proc/65323/comm /proc/65555/comm /proc/65589/comm /proc/65624/comm /proc/65631/comm /proc/65712/comm /proc/65738/comm /proc/65802/comm /proc/65969/comm /proc/65992/comm /proc/66/comm /proc/66007/comm /proc/66036/comm /proc/66052/comm /proc/66078/comm /proc/66514/comm /proc/66527/comm /proc/66551/comm /proc/66941/comm /proc/66968/comm /proc/67/comm /proc/67102/comm /proc/67125/comm /proc/67317/comm /proc/67386/comm /proc/67527/comm /proc/67553/comm /proc/67554/comm /proc/67555/comm /proc/67556/comm /proc/67557/comm /proc/67607/comm /proc/67778/comm /proc/67801/comm /proc/68/comm /proc/68170/comm /proc/68206/comm /proc/68466/comm /proc/68661/comm /proc/68732/comm /proc/68761/comm /proc/68780/comm /proc/69/comm /proc/69002/comm /proc/69033/comm /proc/69074/comm /proc/69116/comm /proc/69166/comm /proc/69315/comm /proc/69395/comm /proc/69425/comm /proc/69466/comm /proc/69532/comm /proc/69625/comm /proc/69656/comm /proc/70/comm /proc/704/comm /proc/70402/comm /proc/70425/comm /proc/707/comm /proc/70700/comm /proc/70717/comm /proc/70723/comm /proc/70795/comm /proc/70796/comm /proc/708/comm /proc/70806/comm /proc/70959/comm /proc/72/comm /proc/721/comm /proc/72230/comm /proc/72254/comm /proc/73/comm /proc/74/comm /proc/75/comm /proc/75467/comm /proc/75707/comm /proc/75733/comm /proc/75734/comm /proc/75735/comm /proc/75736/comm /proc/75737/comm /proc/75738/comm /proc/75740/comm /proc/75741/comm /proc/75747/comm /proc/75748/comm /proc/75749/comm /proc/75750/comm /proc/75751/comm /proc/75752/comm /proc/76/comm /proc/78/comm /proc/78973/comm /proc/79/comm /proc/8/comm /proc/80/comm /proc/81/comm /proc/81634/comm /proc/81663/comm /proc/81753/comm /proc/81770/comm /proc/81776/comm /proc/81849/comm /proc/81850/comm /proc/81860/comm /proc/82/comm /proc/82014/comm /proc/83254/comm /proc/83277/comm /proc/83377/comm /proc/83378/comm /proc/84/comm /proc/84562/comm /proc/85/comm /proc/85188/comm /proc/86/comm /proc/86227/comm /proc/866/comm /proc/87/comm /proc/87185/comm /proc/88/comm /proc/88582/comm /proc/88596/comm /proc/89386/comm /proc/89411/comm /proc/9/comm /proc/90/comm /proc/90285/comm /proc/91/comm /proc/92/comm /proc/9230/comm /proc/9247/comm /proc/9263/comm /proc/93/comm /proc/9345/comm /proc/94/comm /proc/96/comm /proc/96319/comm /proc/96359/comm /proc/96642/comm /proc/96663/comm /proc/96681/comm /proc/96742/comm /proc/96743/comm /proc/96753/comm /proc/96863/comm /proc/97/comm /proc/98/comm /proc/99/comm /proc/99518/comm /proc/99541/comm /proc/99566/comm /proc/99607/comm /proc/9962/comm /proc/99872/comm /proc/99963/comm /proc/self/comm /proc/thread-self/comm
+ '[' -n '' ']'
+ rm -f /var/run/libvirtd.pid
+ [[ -c /dev/kvm ]]
+ chmod 660 /dev/kvm
+ chown root:kvm /dev/kvm
+ CGROUPS=
+ for CGROUP in blkio cpu devices freezer hugetlb memory net_cls perf_event rdma misc pids
+ '[' -d /sys/fs/cgroup/blkio ']'
+ grep -w blkio /sys/fs/cgroup/cgroup.controllers
+ for CGROUP in blkio cpu devices freezer hugetlb memory net_cls perf_event rdma misc pids
+ '[' -d /sys/fs/cgroup/cpu ']'
+ grep -w cpu /sys/fs/cgroup/cgroup.controllers
cpuset cpu io memory hugetlb pids rdma misc
+ CGROUPS+=cpu,
+ for CGROUP in blkio cpu devices freezer hugetlb memory net_cls perf_event rdma misc pids
+ '[' -d /sys/fs/cgroup/devices ']'
+ grep -w devices /sys/fs/cgroup/cgroup.controllers
+ for CGROUP in blkio cpu devices freezer hugetlb memory net_cls perf_event rdma misc pids
+ '[' -d /sys/fs/cgroup/freezer ']'
+ grep -w freezer /sys/fs/cgroup/cgroup.controllers
+ for CGROUP in blkio cpu devices freezer hugetlb memory net_cls perf_event rdma misc pids
+ '[' -d /sys/fs/cgroup/hugetlb ']'
+ grep -w hugetlb /sys/fs/cgroup/cgroup.controllers
cpuset cpu io memory hugetlb pids rdma misc
+ CGROUPS+=hugetlb,
+ for CGROUP in blkio cpu devices freezer hugetlb memory net_cls perf_event rdma misc pids
+ '[' -d /sys/fs/cgroup/memory ']'
+ grep -w memory /sys/fs/cgroup/cgroup.controllers
cpuset cpu io memory hugetlb pids rdma misc
+ CGROUPS+=memory,
+ for CGROUP in blkio cpu devices freezer hugetlb memory net_cls perf_event rdma misc pids
+ '[' -d /sys/fs/cgroup/net_cls ']'
+ grep -w net_cls /sys/fs/cgroup/cgroup.controllers
+ for CGROUP in blkio cpu devices freezer hugetlb memory net_cls perf_event rdma misc pids
+ '[' -d /sys/fs/cgroup/perf_event ']'
+ grep -w perf_event /sys/fs/cgroup/cgroup.controllers
+ for CGROUP in blkio cpu devices freezer hugetlb memory net_cls perf_event rdma misc pids
+ '[' -d /sys/fs/cgroup/rdma ']'
+ grep -w rdma /sys/fs/cgroup/cgroup.controllers
cpuset cpu io memory hugetlb pids rdma misc
+ CGROUPS+=rdma,
+ for CGROUP in blkio cpu devices freezer hugetlb memory net_cls perf_event rdma misc pids
+ '[' -d /sys/fs/cgroup/misc ']'
+ grep -w misc /sys/fs/cgroup/cgroup.controllers
cpuset cpu io memory hugetlb pids rdma misc
+ CGROUPS+=misc,
+ for CGROUP in blkio cpu devices freezer hugetlb memory net_cls perf_event rdma misc pids
+ '[' -d /sys/fs/cgroup/pids ']'
+ grep -w pids /sys/fs/cgroup/cgroup.controllers
cpuset cpu io memory hugetlb pids rdma misc
+ CGROUPS+=pids,
+ cgcreate -g cpu,hugetlb,memory,rdma,misc,pids:/osh-libvirt
++ cat /proc/meminfo
++ grep HugePages_Total
++ tr -cd '[:digit:]'
+ hp_count=0
+ '[' 00 -gt 0 ']'
+ '[' -n 457eb676-33da-42ec-9a8c-9293d545c337 ']'
+ cgexec -g cpu,hugetlb,memory,rdma,misc,pids:/osh-libvirt systemd-run --scope --slice=system libvirtd --listen
++ mktemp --suffix .xml
+ tmpsecret=/tmp/tmp.6GZYMtrTJR.xml
+ '[' -n '' ']'
+ trap cleanup EXIT
+ TIMEOUT=60
+ [[ ! -f /var/run/libvirtd.pid ]]
+ [[ 60 -gt 0 ]]
+ let TIMEOUT-=1
+ sleep 1
Running as unit: run-r38836921ac2a4b5397024667bfe8f0f9.scope; invocation ID: b3c66f71a83d45fbbbabe642a3df4e90
+ [[ ! -f /var/run/libvirtd.pid ]]
+ TIMEOUT=10
+ [[ ! -e /var/run/libvirt/libvirt-sock ]]
+ '[' -z '' ']'
+ '[' -n cinder ']'
++ awk '/key/{print $3}' /etc/ceph/ceph.client.cinder.keyring
+ CEPH_CINDER_KEYRING=AQBysrNqdvlBJxAAE+VQHIPgd/EJ4NO3jnQ/ug==
+ '[' -n cinder ']'
+ create_virsh_libvirt_secret cinder 457eb676-33da-42ec-9a8c-9293d545c337 AQBysrNqdvlBJxAAE+VQHIPgd/EJ4NO3jnQ/ug==
+ sec_user=cinder
+ sec_uuid=457eb676-33da-42ec-9a8c-9293d545c337
+ sec_ceph_keyring=AQBysrNqdvlBJxAAE+VQHIPgd/EJ4NO3jnQ/ug==
+ cat
+ virsh secret-define --file /tmp/tmp.6GZYMtrTJR.xml
Secret 457eb676-33da-42ec-9a8c-9293d545c337 created

+ virsh secret-set-value --secret 457eb676-33da-42ec-9a8c-9293d545c337 --base64 AQBysrNqdvlBJxAAE+VQHIPgd/EJ4NO3jnQ/ug==
error: Passing secret value as command-line argument is insecure!
Secret value set

+ '[' -n '' ']'
+ '[' -n '' ']'
+ cleanup
+ rm -f /tmp/tmp.6GZYMtrTJR.xml
+ '[' -n '' ']'
++ cat /var/run/libvirtd.pid
+ LIBVIRTD_PID=195750
+ kill 195750
+ tail --pid=195750 -f /dev/null
+ cgexec -g cpu,hugetlb,memory,rdma,misc,pids:/osh-libvirt systemd-run --scope --slice=system libvirtd --listen
Running as unit: run-r0122da4bd9924ca3b9902f83c3eb2d97.scope; invocation ID: aa3c2a2b6872463db49873a2fe14605f