bhyveでk8s - #1 fedoracoreos

参考情報をみてやるだけ、ではある。 https://docs.freebsd.org/en/books/handbook/virtualization/#virtualization-host-bhyve https://forums.freebsd.org/threads/hints-for-installing-fedora-in-bhyve.80257/

目論見

管理ノードを3台で構築する。
ワーカーノードを2台くらい作る。
なんか乗せる。

余力で

bhyve で node のスケーリングってできる？
ignition を動的に作成できないか
- 人の手で構築するのはナウくない気がする

やってみるとクラウド環境って便利。自動化とかスケーリングとか当たり前にある前提だけどローカルにそれらはない。kind とか minikube 使わずコントロールプレーン側を触ってみるのが目的なので不便は承知。

作業

bhyve 環境は出来ている前提

Fedora CoreOs の準備

Live DVD をダウンロードしておく https://fedoraproject.org/

ディスクを作る

散らからないように階層を掘ってボリュームを作る。例では k8s という階層にまとめた。

sudo zfs create  -o mountpoint=none stor/k8s
sudo zfs create -V 16G stor/k8s/coreos01
sudo zfs create -V 16G stor/k8s/coreos02
sudo zfs create -V 16G stor/k8s/coreos03

ネットワークインタフェース作成

bridge インターフェースはbhyve環境として準備されている前提。

sudo ifconfig tap create
sudo ifconfig bridge addm tap0

ignition ファイルを作る

fedoraCoreOSは初期設定を ignition ファイルで指定するらしい
yaml で書いて、butane というツールで json に変換するらしい
なぜ変換を介在させるのかはよくわからない
テンプレートエンジンを持っているとか器用なことができるわけではない

ファイルを用意

ssh 公開鍵を置く
- 2つあるのはbhyveホストと普段の生活環境PCの分
IP アドレスを指定する
- DHCP側でIPアドレスを固定できるならその方が楽かも
- hostname って NetworkNodemanager の設定で指定できないの？
ファイルは http で公開する
- 署名付き S3 とか
- ローカルHTTPサーバとか

variant: fcos
version: 1.5.0
passwd:
  users:
    - name: core
      ssh_authorized_keys:
        - ecdsa-sha2-nistp521 AAAAE2VjZHNhLXNoYTItbmlzdHA1MjEAAAAIbmlzdHA1MjEAAACFBAGbIdk/TcXdtEmKo7MgQGmhOKmaZgxGG8YXzWUP84yx1yI44YOlGUgSez4aR5JoJ40XdoyNJY6eJyN== BSD
        - ssh-ed25519 AAAAC3NzaC1lZDI1NTE5A mac
storage:
  files:
    - path: /etc/NetworkManager/system-connections/enp0s2.nmconnection
      mode: 0600
      contents:
        inline: |
          [connection]
          id=enp0s2
          type=ethernet
          interface-name=enp0s2
          [ipv4]
          dns=192.168.3.1
          gateway=192.168.3.1
          address1=192.168.1.1/22
          method=manual

このファイルを butane で ign ファイルに変換する。適当に Linux VM を用意して実行する。

https://docs.fedoraproject.org/en-US/fedora-coreos/producing-ign/#_via_a_container_with_podman_or_docker

インストーラーの起動

こんな具合のスクリプトを使って Fedoracoreos のLiveDVDを起動する。 fbufのパスワードが指定してあるのは、指定なしだと接続できなかったため。mac の画面共有アプリのせいなのかどうなのかは未確認。

while ループに入れているのは、ゲストOSの再起動時にも bhyve が終了してしまうので。bhyve の戻り値はゲストの終了の仕方によって決まっていて、再起動のときは 0 が返る。

CoreOS は自動で更新して自動で再起動するが、bhyveコマンドをループさせておかないとこのタイミングでVMが終了してしまう。

while [ $? -eq 0 ]; do
bhyve -A -H -P -c 2 -m 2048M \
  -s 0:0,hostbridge \
  -s 1:0,lpc \
  -s 2:0,virtio-net,tap0 \
  -s 3:0,virtio-blk,/dev/zvol/stor/k8s/coreos01 \
  -s 4:0,ahci-cd,/pub/ISO/Linux/FedoraCoreos/fedora-coreos-39.20231119.3.0-live.x86_64.iso \
  -s 29,fbuf,tcp=0.0.0.0:5900,w=800,h=600,wait,password=pass \
  -s 30,xhci,tablet \
  -l bootrom,/usr/local/share/uefi-firmware/BHYVE_UEFI.fd \
  fedoracore01
done

mac では画面共有 (Screen Sharing.app) で VNC 接続できる。とりあえずは Installing CoreOS on Bare Metal に従ってインストールする。

https://docs.fedoraproject.org/en-US/fedora-coreos/bare-metal/

起動したらインストーラーコマンドを実行する。

sudo coreos-installer install /dev/vda \
--ignition-url https://s3.ap-northeast-1.amazonaws.com/ign.teak.jp/k8smaster01.ign?response-content-disposition=inline&X-Amz-Security-Token=IQoJb3JpZ2luX2VjEAkaDmFwLW5vcnRoZWFzdC0xIkcwRQIh...

この後に続く kubeadm とかの設定が面倒そうだなぁ、と思っている。

竹Blog

2024/09/29(日)bhyveでk8s - #1 fedoracoreos

参考情報

目論見

作業