カテゴリー別アーカイブ: Linux

[Linux] User I/O

今更ながら User I/O (UIO) を使ってみました.UIO は 2.6.23-rc1 で kernel に merge された機能で,ドライバモジュールを書くことなくハードウェア資源を userland からアクセスできる手段を提供します.

I/O にアクセスするだけなら /dev/mem を mmap すれば実現できますが,アドレスが制限されないため安全性が担保できません.UIO では予め使用する領域を定義するとともに,割込み応答もできるようになります.

UIO を利用可能にするには,下記の1行目の CONFIG を有効にします.さらに 2行目の CONFIG を有効にすることで,platform driver として扱うことができ,device tree で I/O 領域や割込みが定義できるようになります(もちろん CONFIG_OF=y が必要).CONFIG_UIO_PDRV_GENIRQ を ”m” にしているのは,ユーザが I/O を使い始めるタイミングを userland から制御できるようにするためです.

CONFIG_UIO=y
CONFIG_UIO_PDRV_GENIRQ=m

device tree には次のようなノードを追加します.reg には使用したい I/O アドレスを page 単位で指定します.これは page 単位(default は 4KB)である必要があります.この領域は例では2つ定義していますが,ノードごとに 5 つまで指定できます.interrupts はノードに対して割込み番号を 1つだけ指定できます.
※ interrupts の数値の意味はアーキテクチャにより異なります.ARM GIC では 0 は SPI, 100 は物理割込み番号の32を引いた値,4はレベル割込みを表します.

/{
        uio {
                compatible = "generic-uio", "myuio";
                reg = <0x40000000 0x1000>,<0x41000000 0x1000>;
                interrupts = <0 100 4>;
        };
};

UIO のノードを1つ作成すると,対応するデバイスファイル(/dev/uioX)が1つできます.マイナー番号は昇順に振られるため,複数のノードを作成するとuio0から順にデバイスファイルが対応付けられます.それぞれのデバイスファイルを制御することでノードごとに定義した割込みを同時に扱うことができます.

ターゲット上では modprobe (insmod) でドライバを有効にしますが,その際に引数に devicetree で定義した compatible 文字列を指定します.これで定義した I/O 領域や割込みが取り込まれ,デバイスファイルが作成されます.

# modprobe uio_pdrv_genirq.ko of_id=myuio

ユーザプログラムでは通常のドライバと同様にデバイスファイルを open した後,mmap すれば device tree で定義した I/O 領域へのアクセスが可能になります.mmap で指定する offset は page 単位で連続した相対アドレスです.例では,上記 0x40000000 が base1,0x41000000 が base2 に にマップされます.

void main()
{
        int fd;
        void __iomem *base1, *base2;

        fd = open("/dev/uio0", O_RDWR);
        base1 = mmap(NULL, PAGE_SIZE, PROT_READ|PROT_WRITE, MAP_PRIVATE, fd, 0);
        base2 = mmap(NULL, PAGE_SIZE, PROT_READ|PROT_WRITE, MAP_PRIVATE, fd, 1 * PAGE_SIZE);
        ...
        munmap(base2);
        munmap(base1);
        close(fd);
}

割込みを待つ場合は,まず割込みを許可するためにデバイスファイルに 1 を書き込みます.その後,read() を呼ぶと割込みが入るまでブロックします.再度割込みを待つ場合は再びデバイスファイルに 1 を書いて割込みを許可します.タイムアウトを追加したい場合は,ppoll() で待って read() で読み出す処理を行うことで実現できます.

void main()
{
        int fd, irqsw, count;
        fd = open("/dev/uio0", O_RDWR);

        irqsw = 1;
        write(fd, &irqsw, sizeof(irqsw)); /* enable interrupt */
        ...
        read(fd, &count, sizeof(count)); /* wait for interrupt */
        ...
        irqsw = 0;
        write(fd, &irqsw, sizeof(irqsw));  /* disable interrupt */
        close(fd);
}

ドライバを作る前に I/O を直接操作して動作を確かめたい場合や,ドライバを作るまでもないHardware制御を行いたいときに,UIO を使うと手軽に実現できます.また,諸事情により公開が難しい Proprietary Driver を作成せざるを得ない場合でも,UIO を使うことで  userland 上に実現することが可能です.

Open Source Summit Japan 2017

1年ぶりの更新になります.
先日有明のコンファレンスセンターにて開催された Open Source Summit Japan に参加してきました.このイベントは初参加で Community への貢献もまだまだの中で,全セッション英語とあってまずは雰囲気を知る機会で2日間参加しました.

最近は LinuxCon と ContainerCon と CloudOpen の統合,Automotive Linux Summit との共催で講演が多岐に渡って行われる反面,深い技術トピックが少なかったのが技術者・開発者としては寂しいところです.組込み Linux の開発関連は Automotive 側に話題が多く,OSSJ は Cloud や Server,Service の話題が多かったように思います.

KeyNote を一通り聞いた後,以下のセッション(とこの他いくつか)を聴講しました.

  • Building Debian-Based Products: Experiences in Collaboration
    • Debian の OE レシピと Image 作成のシステムを統合した話
  • Understanding SCHED_DEADLINE
    • EDF アルゴリズム(最もdeadlineが近いタスクに割り当てる)に基づくスケジューリングの話
  • Taking ARM Servers Mainstream: Designing, Building, and Deploying in the Real World
    • ARMv8 サーバにおける RHEL のソフトウェア・ハードウェア要件の話
  • Building, Deploying and Testing an Industrial Linux Platform
    • 工業向け Linux の長期間継続的なメンテナンス・テストの話
  • Adding new CPU architecture to QEMU
    • QEMU に新アーキを追加する際の translation の仕組みの話
  • Bare Metal Container
    • 遠隔サーバ上の OS 非依存のコンテナを扱うシステムの話

セッションの間はドリンクやクッキー,フルーツなどが自由に楽しめました.日本開催ということでお約束の抹茶ケーキやおかきセットなどもありました.ランチは自力解決とはいえ,有明という立地上選択肢が少なく参加者は大変だったかもしれません.

参加期間中,Community の方々に交じってランチや夕食に 同席させていただいたのですが,せっかくの機会なのに英語力の無さでいろいろ申し訳ない応答になったのが無念でした…

[Linux] arm と arm64

64bit ARMプロセッサ

携帯機器のほぼ標準となっている ARM プロセッサは、32-bit の v7 アーキテクチャから 64-bit の v8 アーキテクチャに移行しつつあります。とはいえまだソフトウェアは v7 アーキテクチャ向けに書かれたものばかりですので、いきなり移行することはできません。そのため、32-bit と 64-bit を保護レベルの切り替え時にモード切替することができるようになっていて、互換性を保つように設計されています。x86 プロセッサも全く新しい IA-64 アーキテクチャを発表したものの、後で AMD が amd64 アーキテクチャで 32-bit と互換性を保つ技術を導入し、Intel が同調した経緯があります。

boot 時は 64-bit(AArch64) で起動した場合、EL1(OSレベル)やEL0(userレベル) に切り替える際に 32-bit(AArch32) モードを選択することができます。

Linux の互換性

Linux では ARMv7 までのアーキテクチャを「arm」、ARMv8 アーキテクチャを「arm64」と別々のアーキテクチャで扱っています。一方 gcc ではARMの呼び名に合わせてそれぞれ「AArch32」「AArch64」と区別しているので注意が必要です。

arm64 kernel  では、CONFIG_COMPAT を有効にすることで  userland で AArch32 ELF バイナリを起動したときに AArch32 モードに切り替えて実行できるようになっています。arch/arm64/Kconfig には以下のように説明書きがあり、モードの切り替えだけでなく syscall や VFP サポートなどの基本的な機能もアーキテクチャの差異をを超えてサポートされています。

config COMPAT
	bool "Kernel support for 32-bit EL0"
	depends on ARM64_4K_PAGES || EXPERT
	select COMPAT_BINFMT_ELF
	select HAVE_UID16
	select OLD_SIGSUSPEND3
	select COMPAT_OLD_SIGACTION
	help
	  This option enables support for a 32-bit EL0 running under a 64-bit
	  kernel at EL1. AArch32-specific components such as system calls,
	  the user helper functions, VFP support and the ptrace interface are
	  handled appropriately by the kernel.

	  If you use a page size other than 4KB (i.e, 16KB or 64KB), please be aware
	  that you will only be able to execute AArch32 binaries that were compiled
	  with page size aligned segments.

	  If you want to execute 32-bit userspace applications, say Y.

AArch32 ELF バイナリを arm64 kernel で動かすには、次に示すようにいろいろ準備や注意が必要になってきます。

shared library の対応

単純に AArch32 ELF だけの root filesystem であれば何もする必要はないのですが、AArch64 ELF と共存する環境を作る場合は両方の shared library を用意する必要があります。debian などの distro であれば設定で解決できますが、ここでは構成を知るためにとりあえず手動で作る場合を考えてみます。

まず AArch64 ELF の sysroot (sysroot64/) を基準に sysroot をコピーし、AArch32 ELF の sysroot (sysroot32/) からライブラリをコピーします。

$ cp -pr sysroot64         sysroot
$ cp -pr sysroot32/lib     sysroot/lib32
$ cp -pr sysroot32/usr/lib sysroot/usr/lib32

kernel からプロセスとして ELF バイナリを起動する際に、依存関係のあるライブラリは共有ライブラリをリンクします。
その際に動的リンカ(ld.so)が呼び出されますが、このリンカを ELF のアーキテクチャごとに用意しておくことで、マルチアーキテクチャに対応できます。上記の例の場合、AArch32 ELF のローダを /lib に置きます。/lib にはもちろん AArch64 ELF ローダもあります。

$ cp sysroot32/lib/ld-linux-armhf.so.3 sysroot/lib
$ ls -1 sysroot/lib/ld*
ld-2.23.so
ld-linux-armhf.so.3
ld-linux-aarch64.so.1

ターゲット環境ではライブラリの検索パスを指定します。AArch64 ELF と AArch32 ELF の両方のパスを指定しておけば、実行時に自動的に判別して検索します。

# export LD_LIBRARY_PATH=/lib:/usr/lib:/lib32:/usr/lib32

これで arm64 kernel で AArch32 ELF バイナリを起動することができます。

 

device driver の対応

ioctl() は通常 struct file_operations の .unlocked_ioctl メンバに登録した関数を呼び出しますが、異なるアーキテクチャの場合は .compat_ioctl に登録した関数が呼ばれます。この時、引数が 32bit 定義でやってくるので .compat_ioctl 登録関数にて引数や戻り値を変換する必要があります。struct file_operations は linux/fs.h に定義されています。

struct file_operations {
        :
        long (*unlocked_ioctl) (struct file *, unsigned int, unsigned long);
        long (*compat_ioctl) (struct file *, unsigned int, unsigned long);
        :
};

また、ARM Linux が ILP32 (int/long/pointerが32bit) である一方、arm64 Linux は LP64 (long/pointerが64bit、intが32bit) を採用しています。そのため、sizeof で得られる型のサイズがアーキテクチャによって変化します。これを引数に使うと意味が変わってきます。
特に 第二引数の cmd は マクロ _IOC() を使って定義しますが、定義内に sizeof() を使うためそのままでは 値が変わってしまうことになります。

#define _IOC(dir,type,nr,size) \
        (((dir)  << _IOC_DIRSHIFT) | \
         ((type) << _IOC_TYPESHIFT) | \
         ((nr)   << _IOC_NRSHIFT) | \
         ((size) << _IOC_SIZESHIFT))

#define _IOC_TYPECHECK(t) (sizeof(t))

例えば以下の定義を kernel/user で共有した場合、

#define HOGE_IOC_TEST    _IOC(_IOC_WRITE, 'H', 0x00, long) 

アプリ側からみた HOGE_IOC_TEST は 0x40044800 で ドライバ側から見た HOGE_IOC_TEST は 0x40084800 になり、cmd を正しく判別できなくなるため、型サイズが変わる引数を避けるか .compat_ioctl で cmd をマスクして判別する必要があります。

また、第三引数を構造体へのポインタとする場合にも注意が必要になります。構造体のメンバのメモリ位置やサイズもアプリとドライバで変わってしまう上、packed struct 属性を付けたりすると変換が複雑になってしまうため、避ける必要があります。

[Linux] device tree について

2.6.32 から 4.4 へ

Linux driver の参考書は kernel 2.6.32 辺りの知識で書かれていて,組込みの世界ではあまり新しい kernel を積極的に取り込まないこともあって,私がいる部門でも長い間内部で保持されてきた kernel を使って driver を書いていたのですが,独自の分岐で進化した kernel を maintainance する人材もいなくなり,昨年からいろいろ一新する上で kernel も vanilla kernel に追従することになりました.

昨今では自社向けソースをすべて内部で抱え続けるのも難しく,外に公開していける部分は OpenSource に貢献して協力関係を築いていくのも至極当然の流れでしょう.何故今までそうして来なかったのか不思議なくらいですが…という前置きはおいといて,そんな 2.6 時代の知識から突然最新 LTS の v4.4 の開発手法や kernel API に刷新する必要が出てきたわけです.

device tree とは

最もインパクトがあったのは device tree の導入でした.eLinuxの解説に記載がありますが,OpenFirmware の ePAPR 仕様で規定されているものを元にしたデバイス固有情報を記述するフォーマットです.Linux 以外にも FreeBSD や U-boot でも採用されていて,標準化の動きがあります.
(OpenFirmware とか PAPR と聞くと Mac 互換機の CHRP や BeOS を思い出してしまうのですが…)

実際の記述方法は devicetree.org の文法解説や Linux source の Documentation/devicetree/bindings/ に記載されていますが,実際の arch/arm/boot/dts/ 以下の各 SoC 向けソースが参考になります.

device tree の driver への取り込み方

device tree を導入すると,driver 側の記述の仕方も変わってきます.元々 module_init() や module_exit() で最初と最後を書くだけだったのが,device tree から情報を取り込む操作が必要になるわけですが,その操作は platform driver の framework がベースになります.

例えば,以下のように device tree に foo driver の記述を行うとします.識別文字列の他に,使いたいレジスタアドレスとサイズが書かれています.

/ {
    foo {
        compatible = "hoge,foo";
        reg = <0x12340000 0x200>;
    };
}; 

platform driver は,起動関数・終了関数・識別テーブルを定義します.

static struct platform_driver foo_driver = { 
    .probe  = foo_probe,
    .remove = foo_remove,
    .driver = { 
        .name = "foodriver",
        .of_match_table = foo_of_match,
    },
};
module_platform_driver(foo_driver);

識別テーブルの方は compatible で device tree に適合する識別文字列を定義します.

static const struct of_device_id foo_of_match[] = { 
    { .compatible = "hoge,foo",},
    {},
};
MODULE_DEVICE_TABLE(of, foo_of_match);

このように定義しておいて,起動関数 foo_probe() では device tree の情報を取り込んで,実際の動作に反映させていきます.

static void __init foo_probe(struct platform_device *pdev)
{
    sturce resource *res = platform_get_resource(pdev, IORESOURCE_MEM, 0);
    void __iomem *vptr = devm_ioremap_resource(res);
    :
}

この他にも device tree 情報を取り込む platform 関数や of 関数はたくさんあり,方法もさまざまです.
一つサンプルを作って自分なりに確立しておくのが良いかと思います.

[Linux] process と CPU割り当て

CPU migration

Linux では SMP 構成をとる場合,できるだけ CPU を公平に使うようにスケジューリングされます.そのため,各プロセスの CPU 使用率を元に再スケジューリングのタイミングでプロセスの CPU migration (CPU 間の移動)が発生します.

migration で CPU 間をプロセスが移動するためには,一度動作を止めてコンテキスト(レジスタや状態情報など)を移動させて再開,という処理が行われますが,キャッシュ共有する「CPUコア間」に比べて共有しない「CPUクラスタ間」は移動にかかる時間が掛かるため,移動に重みづけしてスケジューラが次の CPU を判断します.

migration 動作を見る

ではプロセッサの migration でどうやって動いてるんだろう,と*手っ取り早く*調べたいと思ってたところ,
busybox の ps では CPU 割り付けが扱われないため,procps パッケージの ps を使うと確認できました.

$ ps -eo pid,psr,comm

ということで,下記のような shell script で回しておけば,出力ログを加工してグラフ化することで遷移の可視化もできます(かなり古典的手法ですが).

#!/bin/sh
(
    while :; do
        ps -eo pid,psr,comm | grep $PROG;
    done
) | awk '{print $1,",",$2}'

CPUやスケジューリングポリシーを指定

プログラムで直接 sched_setaffinity() や sched_setscheduler() を呼び出せばいいのですが,常にプログラムを書き換えられるわけではないので,できれば shell で指定できる方が都合がいいです.util-linux パッケージを使うと可能になります.

taskset で起動プロセスの CPU を固定することができます.例えば CPU1 でプロセスを起動したい場合は
以下のように指定します.

$ taskset -c 1 PROG

chrt で起動プロセスのポリシーを指定することができます.例えば SCHED_FIFO の priority=50 で
起動したいなら次のようにします.

$ chrt -f 50 PROG

また,kernel の起動オプションで ‘isolcpus’ を付けてCPUを指定すると,そのCPUはプロセスのCPU割り付け対象から外されます.全ての CPU を指定すると全て CPU0 でプロセスを起動するようになります.SMP 構成ながら Asymmetric に CPU を使うこともできそうです.

isolcpus=0-3

余談ですが…

SMP 構成の組込みシステムの場合,応答速度や処理量で破綻する可能性があるのであまり CPU を移動するのはうれしくないですが,特定の CPU に処理が集中するのも不利になるため適度に分散させたいため,スケジュールポリシーの選択は重要になってきます.

SCHED_FIFO,RR や CPU 割り付けを固定で行うこれまでのリアルタイム設計は複雑なシステムになるほど不都合になるため,SCHED_DEADLINE (EDF) や新たに提案されている Energy-Aware などの heuristic スケジューリングにも期待したいところです.

VMware Player 環境の再構築

システムの置き換え

これまで HDD 2台でそれぞれ Windows, Ubuntu を置いて、Windows から VMware で Ubuntu を起動していました。システムドライブを SSD に置き換えるにあたり、Windows も Ubuntu も SSD に置くことにしたのですが、ここでハマってしまったので記録しておきます。

Windows7 のインストールの際に SSD(250GB) を NTFS と ext4 に分けることを想定してパーティションを設定し、Windows7 のインストール、Windows10への upgrade、VMware Player のインストールまでは特にハマるところはなく進みました。

仮想環境の構築に失敗

VMware Player で仮想マシンを作成し、以前と同じように設定した後、HDD は IDE 物理ディスクの「PhysicalDrive0 のパーティション3(ext4想定の空き)」を指定して Ubuntu Desktop のインストールを開始。

後半で Grub のインストール先を指定しますが、上記インストールパーティションを指定すると失敗します。Grub は MBR にインストールするものですが、VMware は物理ディスクの場合もブート時に MBR を見に行くためそのままでは失敗します。

Grub は基本パーティションの Linux FileSystem にある /boot/grub/ を見に行くため、最初に Linux をインストールしてから Windows をインストールすれば解決しそうですが、Grub から Windows を起動すると、VMware Player の Grub からホスト OS のWindows が選択できてしまうためこれは惨事になるのが予想できます。

もう一つのシステムディスク登場

結局、SSD の MBR に Grub をインストールせずに VMware Player から論理パーティション上の Ubuntu が起動するには、もう一つディスクを用意して MBR を Grub にすればよいわけですが、仮想環境なので仮想ディスクを使えばよいわけです。

VMware Player で「仮想マシンの設定の編集」→「(ハードウェアタブ)追加」→「ハード ディスク」で通常のディスクを作成し、Grub が起動できればいいので “とりあえず” Ubuntu Server をインストールしました。Grub はこの仮想ディスクである /dev/sdb の MBR にインストールします。

物理パーティションOSの起動

この時点で VMware Player から Grub 経由で Ubuntu Server が起動しますし、物理パーティションの Ubuntu Desktop も認識しているので、メニューから選択すれば起動できます。しかしこちらがメインなので timeout してすぐに起動するように設定します。Grub の設定を行う Ubuntu Server 側で以下の設定値を変更します。

$ sudo vi /etc/default/grub
-GRUB_DEFAULT=0
+GRUB_DEFAULT=4
-GRUB_TIMEOUT=10
+GRUB_TIMEOUT=3
$ sudo update-grub

GRUB_DEFAULT はメニューのデフォルトの選択値です。私の環境では4つ目に Ubuntu Desktop があったので “4” を指定しています。また、GRUB_TIMEOUT は自動選択までの待ち時間で 3秒に設定し直しています。最後に update-grub で /boot/grub/grub.cfg を更新します。

これでめでたく SSD の Ubuntu Desktop が起動できました。これまで使っていた HDD も「IDE 物理ディスク」として設定してマウントすることでそのまま使うことができます。