tsutsuiの作業記録置き場

NetBSDとかPC-6001とかの作業記録のうち、Twitterの140字では収まらない内容や記事としてまとめるべき内容をとりあえず置いてみる予定

NetBSD/evbarm-earmv7hfeb のビッグエンディアン環境のテストで Raspberry Pi 3Bを使ってデバッグした話

これはRaspberry Pi Advent Calendar 2025の18日目の記事です。前日は omasanoriさんの 2026年、Raspberry Piでこんなものが作りたい!でした。

概要

Raspberry Pi 3Bで「ビッグエンディアンモード」で動く NetBSD/evbarm-earmv7hfeb 上で Qt6 をビルドしたら謎のエラーが出て、それがビッグエンディアン固有の問題だということを調査して修正をコミットするまでの話です。

前提知識:エンディアンについて

「エンディアン」は「バイトオーダー」とも言いますが、定義としては
「2バイト以上の整数値(C言語での short, int, long)などの値がメモリ上に格納されるときに、上位バイトからメモリに格納されるのか、下位バイトからメモリに格納されるのか」
というものです。

具体的には、 4バイトの整数 0x01020304 という値をアドレス 0x1000 バイトに格納した場合、リトルエンディアンの環境では

アドレス RAM値
0x1000 0x04
0x1001 0x03
0x1002 0x02
0x1003 0x01

のように値が格納され、ビックエンディアンの環境では

アドレス RAM値
0x1000 0x01
0x1001 0x02
0x1002 0x03
0x1003 0x04

のように値が格納されます。

x86 CPUはリトルエンディアンですが、ラズベリーパイをはじめとするARM CPUは規格上リトルエンディアンとビッグエンディアンの両方をサポートしています。(LinuxでビッグエンディアンARMで動作するディストリビューションがあるのかは確認していません)

NetBSDにおけるビックエンディアン対応

NetBSDでは NetBSD/evbarm-earmv7hf と呼ばれる機種名でラズベリーパイをサポートしていますが、リトルエンディアン版と同様に NetBSD/evbarm-earmv7hfeb という機種名でビッグエンディアン版のリリースバイナリも用意されています。

https://cdn.netbsd.org/pub/NetBSD/NetBSD-10.1/evbarm-earmv7hfeb/binary/gzimg/ にある armv7.img.gz をダウンロードして gunzip して SDカードに書き込んでラズベリーパイ2以降にイメージを書き込んだSDをさして電源を入れると、普通にビッグエンディアン環境で NetBSDが起動します。

ビッグエンディアン実機テスト環境

今どきはビッグエンディアンで動く実機は少ないので、 NetBSD/evbarm-earmv7hfeb は「任意のアプリケーションがビッグエンディアンでも動作するかの検証」に使うことができます。

ここで、いつもOSC展示デモで使わせてもらっている「クロスプラットフォーム対応 PC-6001 エミュレータである PC6001VX はビッグエンディアン環境でも動作するのか?」を検証しようとしたところ、 PC6001VX で必要になる Qt6 のビルドが謎のエラーでコケる、というのがこの記事の本題です。

リトルエンディアン NetBSD/evbarm-earmv7hf での PC6001VX のビルド

エミュレータの PC6001VX は NetBSDの公式パッケージシステム環境である pkgsrc に入れてあるので、基本的には pkgsrc のソースを取ってきて pkgsrc/emulators/PC6001VX で make package-install すればビルドができます。

リトルエンディアンというか標準(?)の NetBSD/evbarm-earmv7hf をラズパイ3Bで動かして PC6001VX をビルドすると、こちらは問題なくビルドできて動作もしました。

(実はこの前に qt6 が NetBSD/arm では動作しない という別の問題があったのですがそれはまたいずれ別記事で)

ビッグエンディアン NetBSD/evbarm-earmv7hfeb での qt6ーbaseのビルド

ビッグエンディアンの NetBSD/evbarm-earmv7hfeb で PC6001VX をビルドしようとすると、その前の pkgsrc/x11/qt6-qtbase のビルドで謎のエラーが発生しました。

[ 3%] Built target Core_version_script
[ 3%] Built target Core_lib_pri
[ 3%] Built target qmodule_pri
[ 3%] Built target Core_autogen_timestamp_deps
[ 3%] Built target Core_autogen
[ 3%] Running moc --collect-json for target Core
Error opening /usr/pkgsrc/x11/qt6-qtbase/work.earmv7hfeb/qtbase-everywhere-src-6.9.1/src/corelib/Core_autogen/include/../GSVTHXPFFC/moc_qsequentialanimationgroup_p.cpp.json for reading
gmake[2]: *** [src/corelib/CMakeFiles/Core.dir/build.make:77: src/corelib/meta_types/qt6core_release_metatypes.json.gen] Error 1
gmake[2]: *** Deleting file 'src/corelib/meta_types/qt6core_release_metatypes.json.gen'
gmake[1]: *** [CMakeFiles/Makefile2:4531: src/corelib/CMakeFiles/Core.dir/all] Error 2
gmake: *** [Makefile:146: all] Error 2
*** Error code 2 Stop.
make[1]: stopped in /usr/pkgsrc/x11/qt6-qtbase
*** Error code 1 Stop. make: stopped in /usr/pkgsrc/x11/qt6-qtbase
armv7#

moc というのは Qt の C++ 拡張を扱うプログラム ということらしいのですが、そもそもリトルエンディアンでは問題なくビルドができているのにビッグエンディアンでこんなエラーが出るというのは何が起こっているのかさっぱりわからない、というところがスタートでした。

ChartGPT によるトラブルシューティング

とりあえず雑に ChartGPT にエラーメッセージを投げて聞いてみると、ちゃんといい感じにトラブルシューティング手法を挙げてきてくれます。

ざっくり言うと、moc の “--collect-json”(メタタイプ収集)フェーズで、生成物の場所を取り違えているのが原因っぽいです。 ログ中の

.../Core_autogen/include/../GSVTHXPFFC/moc_qsequentialanimationgroup_p.cpp.json

という“ハッシュっぽい”サブディレクトリ(GSVTHXPFFC)を探しに行ってコケていますが、実際にはその JSON が別の場所(include/直下、もしくは“別の”サブディレクトリ)にできている――という食い違いが起きている可能性が高いです。

[中略]

すぐに確認したいこと

  • 失敗直後に、該当ツリーで実際の配置を確認
    cd /usr/pkgsrc/x11/qt6-qtbase/work.earmv7hfeb/qtbase-*/src/corelib/Core_autogen
    find . -name 'moc_qsequentialanimationgroup_p.cpp.json' -print
    ls -l include
    
  • include/../GSVTHXPFFC/ が存在するか?
  • JSON が include/ 直下に素で落ちていないか?
  • 別名のサブディレクトリに出来ていないか?

並列ビルドの影響切り分け bmake -j1(MAKE_JOBS=1)で一度試す。レース条件で“探し先”と“出来上がり先”がズレるパターンを潰せます(効かない場合もあります)。

ChartGPT によるトラブルシューティング 2

ここからいろいろやり取りしながら検証ビルドやテストを繰り返していくと、まず

ビルド中に生成される Core_json_file_list.txt というファイルに対し、 ビッグエンディアンの場合だけ include/../GSVTHXPFFC/moc_qsequentialanimationgroup_p.cpp.json という余計な行が追加される

というのが観測されました。

ChatGPTはすぐ「回避策」を提示してくるのに対して「BEだけで動かない理由を確認したいのだ」となんどもシバきながら検証を進めると、ビッグエンディアンでは以下のようなエラーが出る、というのが観測されました。ここが大きな手がかりでした。

[ 9%] Building CXX object src/corelib/CMakeFiles/Core.dir/global/qglobal.cpp.o In file included from /usr/pkgsrc/x11/qt6-qtbase/work.earmv7hfeb/qtbase-everywhere-src-6.9.1/src/corelib/global/qglobal.cpp:378: /usr/pkgsrc/x11/qt6-qtbase/work.earmv7hfeb/qtbase-everywhere-src-6.9.1/src/corelib/Core_autogen/include/moc_qnamespace.cpp:9:10: fatal error: ../../../elib/gl/a//qn/mespace.h: No such file or directory
 9 | #include "../../../elib/gl/a//qn/mespace.h"
 | ^~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~
compilation terminated.

ChatGPTいわく、

出ましたね、この一発で“根っこ”が見えます。

fatal error: ../../../elib/gl/a//qn/mespace.h: No such file or directory
               ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^

本来ここは

../../../global/qnamespace.h

であるべきなのに、文字がところどころ脱落して

  • corelib → elib(先頭の cor が消えている)
  • global → gl/a(oba が落ち、l の前に余計な / が入る)
  • qnamespace.h → qn/mespace.h(a と na が落ち、余計な / が入る)

という**“部分的に文字が抜けたパス”**になっています。 #include "..." の中身はプリプロセッサで改変されないので、これは moc が生成した文字列自体が壊れていることの証拠です。

エンディアン依存で文字列が壊れる原因

ここで ChatGPT が

この時点で、原因=BE 上の moc のパス文字列生成が壊れていることは事実ベースで確立できています。 もし可能なら、 qtbase/src/tools/moc/generator.cpp (または近辺のパス構築関数)の該当行を見せていただければ、具体的な 1~2 行の置換パッチをその場で書きます。

と言ってくるので各種ソースを投げつけると、ご丁寧に「各種ソースの文字列操作のどこで壊れているのかを検証するパッチ」を出してくれて、それでひとつひとつ見ていくとまず以下の結果に。

ナイス切り分け。rel(combinePath-direction) が ../e//qo/ject.h になってる時点で、QDir::relativeFilePath() の戻り QString 自体が BE で壊れてます(「kernel/qobject.h」が “1 文字おきに落ちる/余計な / が入る” 典型)。 つまり原因は moc の後段ではなく、moc/main.cpp の combinePath() が使っている Qt 側の相対パス生成です。

いいログです。結論からいうと、壊れ始めているのは combinePath() の戻り値そのものです(A1 がすでに ../e//qo/ject.h になっている)。 ここまで来ると、原因はだいたい次のどちらかに絞れます:

  • QDir::relativeFilePath() が返した QString の時点で壊れている
  • その QString を 8bit に落とす QFile::encodeName() で壊れている

どっちかをはっきりさせましょう。combinePath() 内に直接デバッグ出力を入れて、QString→QByteArray のどこで化けるかを確認します。

ありがとう、切り分けができました。ログから犯人は QDir::relativeFilePath() 側と確定です。

combinePath() の中で

  • infile / outfile は正常(ASCII そのまま)
  • r = outFileInfo.dir().relativeFilePath(inFileInfo.filePath()) のQStringの時点で ../e//qo/ject.h に壊れている
  • QFile::encodeName(r) も同じ壊れ方(= エンコード変換は無罪)

つまり、QtCore(パス演算)の実装が壊している→ moc 以外のツールでも再発し得ます。あなたの指摘どおり、moc だけ直しても根治にはなりません。

壊れている場所はわかっても壊れている原因はわからず、ChatGPTは UTF-16 の扱いが原因だとか言ってくるんですが、更に切り分けを指示すると再度テストコードを投げてきてくれて、最終的に qt6 内の tokenize() 関数が原因というところまでわかりました。

ありがとう、ログ決定的です。tokenize()(とそれを使う split())が Big-Endian で壊れていて、区切り文字 '/' を含んだ変なトークンを返しています(例: "/us", "/pk", "elib/ke", "e", "/qo"…)。UTF-16 ダンプは正常なので、**トークナイザの実装が BE 非対応(LE 前提のSIMD最適化の取り扱いミス)**と見てほぼ確定です。

真の原因: ARM SIMD命令 NEON命令セットに渡すデータ配列のエンディアン依存

ここで突然「LE 前提のSIMD最適化の取り扱いミス」という SIMD という語が登場するのですが、 ARMの場合この SIMD (Single Instruction Multi Data stream) 命令は NEON と呼ばれる命令セットになります。 (x86 での SSE2命令みたいなもの)

ここでも安直に回避策を提示してくるChatGPTをしばいてさらに検証していくと、 qstring.cpp の中の基本文字列操作関数の qustrchr() が SIMD 命令(ARMでの NEON)を使っていて、とりあえずここでNEONを使わないようにすると問題が解消する、というところまではわかりました。

qustrchr() は C言語標準関数の strchr() と似たような関数で、 SIMD命令で文字列が格納されているメモリを一気に読み出して、SIMD命令で一致しているところを探す、みたいな実装です。

# elif defined(__ARM_NEON__)
    if (l >= 8) {
        const char16_t *end = a + l;
        const uint16x8_t mask = qvsetq_n_u16( 1, 1 << 1, 1 << 2, 1 << 3, 1 << 4, 1 << 5, 1 << 6, 1 << 7 );
        while (end - a > 7) {
            uint16x8_t da = vld1q_u16(reinterpret_cast<const uint16_t *>(a));
            uint16x8_t db = vld1q_u16(reinterpret_cast<const uint16_t *>(b));

            uint8_t r = ~(uint8_t)vaddvq_u16(vandq_u16(vceqq_u16(da, db), mask));
            if (r) {
                // found a different QChar
                if (Mode == CompareStringsForEquality)
                    return 1;
                uint idx = qCountTrailingZeroBits(r);
                return a[idx] - b[idx];
            }
            a += 8;
            b += 8;
        }
    l &= 7;
    }
    const auto lambda = [=](size_t i) -> int {
        return a[i] - b[i];
    };
    return UnrollTailLoop<7>::exec(l, 0, lambda, lambda);
# endif // MIPS DSP or __SSE2__ or __ARM_NEON__

ここもChatGPTに解説してもらうと以下:

どこが壊れるのか

  • vceqq_u16(...) で各16bitレーンの一致を 0xFFFF/0x0000 に。
  • それに「レーン i → (1<<i)」という パワーオブツーの重みベクトル(vmask)を AND。
  • vaddvq_u16(...) で全レーンを加算して 0〜255 のスカラに。
  • qCountTrailingZeroBits(mask) で 最初の一致レーンのインデックスを得る。

この方式は「レーン0が最下位ビット(1)、レーン1が(1<<1) ……」という レーン順の解釈が前提です。 ここで使っている qvsetq_n_u16(...) の実装が BE で要素順を逆に詰めてしまう(あるいはビット対応の想定とズレる)と、qCountTrailingZeroBits() が返すインデックスが逆転・崩壊します。実際、NEON 自体の命令は値比較なのでエンディアン非依存ですが、“レーン→ビット” の対応付けだけがエンディアンに敏感です。

ここまでで

qvsetq_n_u16( 1, 1 << 1, 1 << 2, 1 << 3, 1 << 4, 1 << 5, 1 << 6, 1 << 7 );

のビットの並びがおかしいそうだというのはわかったのですが、じゃあどう直すべきなのかというか、NEON命令セットとしてSIMDデータとメモリ上の配置の定義がわからない、という問題に。

そこで再度ChatGPTに
Qtのビルドをすることなく、同様の実装でBEとLEとで動作が異なることを検証するシンプルなテストコードは書けませんか?
と投げると、これまたいい感じのコードを出してくれます。

それらを使ってさらにいろいろ調べると Qt6 内の src/corelib/global/qsimd_p.c の qvsetq_n_u16() の実装として

    const uint16x8_t vmask = { v1, v2, v3, v4, v5, v6, v7, v8 };

として直接 16ビット×8の値を並べているのが実はエンディアン依存で、32ビットARMビッグエンディアンの場合はNEON命令として64ビット毎に

    const uint16x8_t vmask = { v4, v3, v2, v1, v8, v7, v6, v5 };

のようにするのがどうも正しいようである、ということがわかりました。

ただ、NEON命令としてはこのようなエンディアン依存の定義を使うのは正しくなく、

    alignas(16) uint16_t mask[8] = { v1, v2, v3, v4, v5, v6, v7, v8 };
    const uint16x8_t vmask = vld1q_u16(mask);

のような vld1q_u16() 関数(命令?) を使って「配列データを NEONデータ形式に変換する」のが正しいらしく、これに基づいて修正を入れることで無事 NetBSD/evbarm-earmv7hfeb のビッグエンディアン環境でも qt6-base がビルドでき、それを使う PC6001VX も(__ARMEB__ をビッグエンディアン判定する修正を一箇所入れるだけで)無事に動作しました。

12/18 00:32 トゥートを貼り間違えていたので差し換えました

pkgsrc 修正

これに基づいた修正は pkgsrc にコミットしたので pkgsrc-2025Q4 では普通にビルドできるようになっているはずです。

github.com

まとめ

今までNetBSDカーネルデバイスドライバ開発の中で「ビッグエンディアンだけ動作しない」という問題に対する修正は何度もやってきたのですが、 「SIMD命令絡みのデータ配置にエンディアン依存がある」「SIMD命令の場合、32ビットCPUでも 64ビット単位でエンディアンによる配置逆転がある」というのは新たな発見でした。

ただ、実装設計においては「エンディアンを気にする必要のない実装を選択する」ということを心がける、というのが基本であるというのは変わらないかと思います。