日本とイギリス、それぞれの社会的な格差構造って、けっこうはっきり違うところもあれば、不思議と共通する「困った現象」も見えてくるんですよね。例えば、「賃金・所得格差」は顕著です。日本の場合、女性フルタイム労働者のお給料は男性のだいたい6割しかない(お茶の水女子大学・ジェンダー研究センター/神戸大学, 2021年)。一方イギリスでも男女間の開き自体はあるものの、フルタイムで8割くらいまで縮まってて、日本ほどではないみたい。ただし英国は1970年代から「同一労働同一賃金」など法制度が先行していて、その流れで情報公開とかも結構当たり前。一方で、日本ってノウハウや運用知識が特定の人に集中したままだし、情報をオープンにしない空気がなかなか消えません。このへんの社会背景があるせいか、「ファイル文字化け」とか「ジオメトリ型不一致」みたいな、ほんとは初歩だけど無視できない障害も、自治体ごとにちょくちょく繰り返されてます。 さて、じゃあ実際どう対策する? 今すぐ試せそうな具体的アプローチを3つピックアップしてみました。 - ESRI ArcGIS Pro Standard(PChome 24h購物:188,000円/年)は、自治体規模以上向けの地理情報分析ツールです。600種以上もの空間データ変換機能付き。でも導入時にも運用面でもコスト高めだし、それなりに詳しくないとキツいかも。毎週何度も高度分析する政策部門にはフィットします。 - QGIS 3.34 LTR(無料/公式サイト配布)は、とにかく多彩なプラグインでファイル互換性を底上げしてます。ただ大容量ラスター処理中によく落ちるし、サポート体制が皆無。「毎月5,000円以下」でDX推進したい地方都市職員には十分現実的。 - AWS Lambda+Python自動変換システム(月額4,650円〜/Amazon Web Services経由)ならCSVやGeoJSON等々、大量データ自動検証OK。ただセットアップや運用時にはシステム連携知識必須だし、不具合対応も有料サポート頼み。「年100万件超」を処理する行政IT専従スタッフ層向きですね。 まあ――この三つ、それぞれ使えるシーンや苦手分野があります。それらを比較して、本当に必要な改革ポイントとか現場側として優先順位つけること、それこそが最重要になってきます。ま、いいか。
I dissected the feedback over on [ ジオメトリエラー 対処 方法、地域支援 sfパッケージ どんな効果 ]
See the press corner inside [ johnmackintosh ]
『GeoJSON/PBF/Shape形式が混在した環境でst_read()を使った場合、9割近くが30分以内に正しく読み込めた』(米国スタンフォード大学 Urban Informatics Lab, 2023)という調査結果が出てるんですよね。いや〜sfパッケージの実力、改めてすごいなと思っちゃう。 ・正常な読込率は92.4%で、イギリスや日本の10自治体分のデータセットで検証したところ、9団体以上は公式ドキュメント通りにサクッと処理できたみたい。さすがと言いたい。 ・地物抽出タスクのF1スコア中央値は0.89だったそうで、この数字も結構安定して高水準だと思います。でもね、日本語の属性項目が含まれるデータでは約13.2%くらいでencoding指定を追加しないとダメなケースもありました。このへん、英語圏との違いって意外と見逃せないかもしれません。 ・英国ODI(2023年)発表によれば、ジオメトリ型エラー発生率は現地自治体GIS部門50団体平均で11.7%あったようです。それもあってレイヤー事前チェックやテンプレ化など工夫次第でもっと作業効率を上げられそうって話もちらほら聞きます。 全体をまとめると、「初期導入から8割〜9割程度までなら自動化実現可能」なんじゃないかなぁ。ただ、言語とかデータ形式ごとの細かいクセには引き続き最適化策が要りそうな雰囲気ですね……ま、いいか。
「初期導入段階で8割から9割くらいは自動化できる」というスタンフォード大学Urban Informatics Labの2023年調査結果もあるし、ここではsfパッケージを初めて触る人向けに、社会的格差データを扱うための手順をまとめてみた。 • [ファイル準備と配置]: 何するの?―GeoJSON・PBF・Shapeなど(最大3つ)の地理空間データファイルをRスクリプトと同じフォルダへ放り込むことが必要だよ。 やり方は超単純で、OSのファイラー上で指定したディレクトリにドラッグ&ドロップして、拡張子やファイル名が見えてるかもチェックしておこう。 成功目安としては、Rコンソールで`list.files()`って打ったら、そのファイル名がちゃんと一覧に表示されればOK。 • [st_read()による読込コマンド入力]: 何する?―`st_read("ファイル名")`って感じでRコードを書いて地理空間データを取り込むよ。 コツとしては、パスや拡張子のミス予防でタブ補完やコピペが結構便利。日本語ファイルだったら、`options = c("ENCODING=CP932")`とかオプション明示も忘れずに。 成功基準?実行後に「Simple feature collection with ○ features and △ fields」とか出て、Rコンソール上に表っぽいものが出力されてたらOKだと思う。 • [encoding/型指定による文字化け対策]: やること―属性カラム内に日本語(つまりマルチバイト文字)がある時はエンコーディング設定+stringsAsFactorsあたりにも注意。 設定例としては `st_read(dsn, options = c("ENCODING=CP932"))` の形になるし、省略すると13.2%くらい失敗率高まった…みたいな観測も(スタンフォード大,2023)。 成功かどうかは、日本語カラムも含めちゃんと元通りラベルや属性値付きでテーブル表示されたら問題なし。 • [不要カラム削除&型変換テンプレート適用]: やること – sfオブジェクトから不要な列や型がおかしい項目だけ選択・型変換するだけ。 使い方は簡単で、`select()`関数+as.numeric/as.characterなどを使いつつ、「NAばかり」「謎ラベル」な列なら迷わず捨てて大丈夫。 クリア基準として、本当に残すべき項目のみちゃんと残り、不正値の警告も一切出ない状態になればよし。 実際、新規ユーザーこそ「ファイルパス勘違い」と「エンコード指定漏れ」が一番多いトラブル源な気がしている。「都度メッセージ確認」「プレビュー」で逐次進行度チェックすると、大抵ヘマしづらくなるからオススメ! ま、いいか。
英国ODI「Public Sector GIS Errors Survey」(2022)によると、行政区画データの統合において失敗率が10~15%に及ぶらしくて、全体の半数を超えるケースで結局は人の目による確認が欠かせない、なんて報告もあったりする。うーん、完璧って難しいね。で、エラー検知+逐次記録だけど──たとえばst_layers()で最初にレイヤー構成をチェックしてから、その工程ごとの異常値や警告などをログファイル化しておけば、「型の食い違い」とか「カラム仕様の微妙な差異」といったヤバい部分を割と早めに把握しやすくなると思う。その流れだと、不自然な値や想定外メッセージを都度記録する感じ。ま、再発リスクが下がるから損はないはず。あとね、CRS・エンコーディングについても一括処理しておくことで混入リスク減らせるし、更に各工程終了後には進捗フローそのものもグラフとか図式化しておくと「あれ?ここ何かズレてない?」って視覚的にも気づきやすくなる。この種の多層防御っぽいやり方(ルーチン徹底型)は正直ちょっと地味だけど、その分分析自体の精度とか安定感もガツンとアップすると個人的には考えてる。ま、いいか。
「全国都道府県庁GIS業務利用率88%・中央値予算130万円」(総務省,2020)という、なかなか面白いデータを元に、小さな自治体だと「年額100万円以下で満足できる格差分析システムは本当に導入できるの?」って疑問、結構よく出ます。正直なところ、商用GISが思いのほか高額なので、ほとんどの小規模自治体はOSS(オープンソースソフトウェア)やmapviewパッケージなんかの組み合わせでコスパ重視運用している感じ。とはいえ、「OSSならゼロコストだろう」ってイメージはちょっと危ないかなぁ。実際にはアップグレード対応や職員トレーニングなど維持面のコストがまあまあかかってくるし、そこ無視はできません。 例えば東京都大田区では、QGISとR連携による構成を使って年100万円未満&3人体制でちゃんと運用されていたケースも見つかりました。ま、いいか。一方、「実績ベースで比較した公共事例集や比較資料が手に入る?」って話も時々ありますが、日本OSS推進フォーラムとか内閣官房IT総合戦略室の公開資料、それから導入状況マップあたりを活用する自治体が多そうです。最終的には、予算配分だけじゃなくて製品選定・AIとの将来連携みたいなところも含めて、多方面から考える必要がありますね……迷うなら色んな観点でちょっとずつ絞り込むしかないかもしれません。
2020年に総務省が調べたところによれば、都道府県庁のGIS導入率は88%にも上っていました。とはいえ、大田区みたいに100万円未満の予算でOSS+QGIS/R連携を回している自治体だと、「担当者が代わるたびに操作方法が伝わらず、その結果データ改ざんも気付くのが遅れたり」なんて、人為的ブラックボックス状態で損失を招く事例も実際起こってるみたいです。 リスクを減らすやり方としては - まず、1. 操作ログは定期的に自動取得しつつ、年2回以上は第三者レビューも仕組みとして組んでおくこと。さらに、2. プライバシー保護系の機能はOSやアプリごと個別に細かく設定できるようにして、不正閲覧アラートの履歴も最低1年間は保存、といった具合に権限ごとのワークフローを設計する形が推奨されてます。ま、いいか。でも本当に大事な話なんですよ[注意事項]。
★ 日英の格差データを使って、地域支援をもっと実感できる形にするヒント集です。数字で効果が見えるので、現場でも試しやすいよ。 1. まず3つの地域ごとに所得データをsfパッケージで読み込んでみよう。地図表示まで10分以内ならOK。 マップ化すると格差が視覚化されて支援対象が選びやすくなる(5人に見せて格差エリアの指摘率80%以上)。 2. A/Bテストは最初の7日間だけ「現場目線」で回して違いを見る—細かい設定は後でも充分。 先に大きな傾向だけ掴めば修正点も明確になる(7日後のクリック差が3%超ならテスト継続)。 3. ジオメトリエラー対策にはst_make_valid()を直感的に使って、少なくとも前処理時間を30%短縮しよう。 [2024年時点]エラー件数100未満ならほぼ自動解決できる(作業記録比較で30分以上短縮できたら成功)。 4. (OSS+mapview)導入は初期2週間予算100万円以内でトライ—その間に最大5種類可視化まで試そう。 [2025年現在]多機能ツールほど費用対効果も変わるので、初期段階から拡張性とコスパ両方評価できる(2週間後、費用/マップ数が他案より低ければOK)。
K-Data Forum……。見てたら、あの疲れるフォーラムUI、でも妙に行政データ系は充実してたな、こういう時こそ使うべき?いや本当はSocial Innovation Research Lab(名前長いけど)で事例レポートまとめられてるのを前に拾った覚えもある。Statistical Society of Singaporeみたいな…なんだろう、地味だけど統計分野は信頼できそうって自分でも思うし。でも結局最後にはJOHNMACKINTOSH.NETで技術トラブル絡みの記事眺めて、「あーこういう話ばっかりだよ」って一息ついてしまう。European Social Observatory……?最近名前だけ出てきてるけど、本当に専門家呼んだり比較ロジック整理してくれるんかなぁ。気が向いた時しか覗かない、それが普通かもしれないね……