dataに関するhobbiel55のブックマーク (45)
-
hobbiel55 2024/10/03
-
人工衛星からみた地球のデータ、なんと無料。使わないともったいない
人工衛星からみた地球のデータ、なんと無料。使わないともったいない2024.02.29 17:00Sponsored by J-spacesystems 編集部 ｢ハイパースペクトルセンサー｣のデータが無料で提供されているって知ってましたか？ ...いきなりこんなこと言われてもピンとこないですよね。ハイパースペクトルセンサーは人工衛星に搭載されている観測設備。超簡単にいうと、撮影するだけでその物質が何かを識別できるセンサーで、地球の地表にある鉱物やガス、植生などを宇宙から見分けることができます。 以前、ハイパースペクトルセンサーのすごさをわかりやすく解説した動画を公開しているので、まだの方はぜひご覧下さい。 後編となる今回の動画は国産のハイパースペクトルセンサー｢HISUI（ひすい）｣のお話。撮影したデータはどんなものなのか？ それを使って何ができるのか？ データを使うにはどうしたらいいのか
-
10年経ってもついに消えずに残った、データサイエンティストという職業 - 渋谷駅前で働くデータサイエンティストのブログ
このブログでも何度か引用しているこちらの記事で、「データサイエンティストという職業は10年以内に消える」という趣旨の議論がされていたのがちょうど10年前の2013年でした。ちなみにこの記事はついているブックマーク数に比して当時は結構注目を集めたという記憶があり、割と業界内では「確かにこんな中途半端な職業が10年後もあるわけないよね」と言われていたのを思い出します。 実際には皆さんもご存知のように、2023年になってもデータサイエンティストという職業はついに消えることなく、現在に至るまで残り続けています。その経緯がどんなものであったかは、業界10年史記事でもある程度触れた通りです。 しかし、同時に現在では「生成AIの普及でデータサイエンティストの仕事がなくなる」という風説も出回っており、改めてデータサイエンティストという職業の将来性に不透明感が漂いつつあるのもまた事実です。そこで、今回の記事
-
長崎県「自由に使え。」 県内全域の3D点群データ公開
長崎県は8月17日、県内の地形を計測した3D点群データを掲載したWebサイト「オープンナガサキ」を公開した。営利・非営利問わず利用できる。 同県は3月14日に長崎地区（長崎市、時津町、長与町）の3D点群データを試験的に公開していたが、今回は県内のほぼ全域に拡大した。「自由に活用していただきたい、という思いから県が今までの業務で取得した成果品をクリエイティブ・コモンズ・ライセンスのオープンデータにした」としている。 公開した3D点群データは、2012年度から2020年度にかけて計測したもの。LAS形式のファイルとして提供する。点密度は4点／m2以上で、場所によって異なる。 3D点群データは「UAV写真測量、地上レーザースキャナなどによる3次元測量によって得られた3次元座標を持った点データの集合」（国土交通省の資料より）。建物や設備などの姿を3次元空間に表現できるため、建設業界の生産性向上など
-
国土交通省が「Cities: Skylines」のMOD“SkylinesPLATEAU”を公開。日本の3D都市モデルを反映したマップを作成できる
国土交通省が「Cities: Skylines」のMOD“SkylinesPLATEAU”を公開。日本の3D都市モデルを反映したマップを作成できる ライター：蒼之スギウラ 2023年5月22日，国土交通省主導による“Project PLATEAU”が，Paradox Interactiveの都市建設シム「Cities: Skylines」で利用できるMOD「SkylinesPLATEAU」を，Steamワークショップで公開した。 #PLATEAU GitHubにて、都市育成シミュレーションゲーム"Cities:Skylines"のMOD「SkylinesPLATEAU」を公開しています！ 現実の都市データを舞台としたまちづくりシミュレーションを体験することができます。 是非ご活用ください！https://t.co/6E8GEJLNsV pic.twitter.com/AejxaWx5jk—
-
大容量ニッケル水素充電池の寿命に関するショッキングなデータ
グラフ「サイクル試験により充放電を繰り返したときの電池の内部抵抗の変化」 pic.twitter.com/kolSpCbT2g — Yáge@ (@bron84) October 2, 2016 大容量をうたう充電池ほど少ないサイクル数で寿命を迎える。100mΩあたりまでなら安心して使える。200mΩ〜300mΩになると充電器ではじかれ充電できなくなる 内部抵抗は電流の流れやすさに関係し、内部抵抗が大きくなると電流が流れにくくなります。 内部抵抗が大きい電池から電流を流そうとすると電圧が低下するため、内部抵抗が大きいと機器が必要とする電圧に満たなくなり、あるレベルから機器が動作しなくなります。 つまり、このグラフはニッケル水素充電池の寿命を示していることになります。 グラフの立ち上がりが急峻な電池は、なだらかな電池と比較して、早く寿命を迎えることになります。 このグラフでは内部抵抗100m
-
データに質量はありますか？たとえば全く使用していないコンピュータを2台用意して、片方のコンピュータはデータが空の状態、もう片方はデータがフルの状態で2台の重量を計った場合、ほんのわずかでも重量に差が出るようなことはありませんか？ | mond
mondでこの質問への回答を読んでみましょう
-
行政の統計資料のような非構造化データをGPTで構造化データに変換する｜mah_lab / 西見 公宏
今朝方GPT-4が発表されて、みなさん死ぬほど盛り上がってますねー。 GPT-4を使えば一発でできそうなネタではありますが、GPT-4 APIのお値段は3.5よりもお高めの設定なので、これからはどのように上手くGPTのバージョンを使い分けていくかが問われていくと思います。 というわけで今日は非構造化データを構造化データに変換する話です。 問題の背景行政が定期的に公開している統計資料をご覧になったことはありますでしょうか。ディスる訳ではないですが、以下に示すのは私が住んでいる富士吉田市の統計資料です。 統計ふじよしだ令和元年度版 - 商業 このように分かりやすい表で情報を提供してくれるのはありがたいのですが、数値データにはなっていないので分析に活用することができません。 GPTのパワーを使って、このような非構造化データを構造化データに変換できないか？というのが本日のお題になります。 コードP
-
東京都若年被害女性等支援事業（WBPC）の業績評価｜opp
東京都が実施している「東京都若年被害女性等支援事業」について入手できたデータから見える化及び業績評価をしてみる。 Ⅰ はじめに（１）東京都の事業者評価の課題東京都でも評価委員会を組成し、東京都若年被害女性等支援事業の受託事業者の評価を実施している。この評価結果が次年度の当該団体との契約理由ととしている年度もある。しかし、東京都が実施しているこの事業者評価には以下の課題がある。 第３四半期までの実績でしか評価していない 単年度での評価であり経年的な評価がされてない コスト（事業費）面での評価がなされていない 定量指標の比較表は作成されているが定性的な評価をしており、定量指標と評価の因果関係が明確ではない 受託事業者別の評価しかしておらず、事業全体の評価はされていない 令和3年度東京都若年被害女性等支援事業受託事業者評価委員会（２）評価指標等この事業の重要目標達成指標（KGI)は、「夜間見回り
-
-
画像生成AI「Stable Diffusion」などの開発に大きな貢献を果たした超巨大データセット「LAION-5B」とは？
AIを構築する上ではアルゴリズムだけでなく訓練用のデータセットも重要であり、データセットの質によってAIの精度も大きく左右されます。高精度な画像生成AIとして話題のStable Diffusionでは、「LAION-5B」という50億以上もの画像とテキストのペアを含むデータセットを用いています。 LAION-5B: A NEW ERA OF OPEN LARGE-SCALE MULTI-MODAL DATASETS | LAION https://laion.ai/blog/laion-5b/ 大規模な機械学習モデルやデータセット、関連コードなどの一般公開を掲げる「Large-scale Artificial Intelligence Open Network(LAION)」というドイツの非営利団体は、2022年3月に超巨大なデータセットである「LAION-5B」をリリースしました。LAI
-
バスの乗り方大全 - 最終防衛ライン3
はじめに 「バスの乗り方が分からないなら検索しろ！」は的確か バスの乗り方が最もカオスなのは奈良県 前から乗るか、後から乗るのか、運賃を乗車時に支払うのか降車時に支払うのか 奈良はなぜカオスなのか 路線バスの多い都道府県 自治体の運営するバス コミュニティバスを運行する自治体の割合 コミュニティバスを含めたバスの乗り方まとめ 路線バスとコミュニティバスの集計方法 乗り方案内をHPに掲示する「路線バス会社」の割合と集計方法 コミュニティバスを運営する自治体の割合と集計方法 最後にやはり……「バスの乗り方が分からなかった検索しろ」 はじめに 「バスの乗り方が分からない」との声にお応えするため、全国の路線バスを運行する会社が HP 上で乗り方案内を掲示しているかを調べた。 ついでに、自治体が運営するコミュニティバスについても集計した。 集計結果をスプレッドシートにまとめた。具体的な集計方法は後述
-
データ分析の初心者はExcelを使い、中級者はR, Python, SAS, SPSSなどを使い、上級者は「Excel」に戻っていく「Excelに始まりExcelに終わる」
naki @naki_mk 同僚からもらった画像だけど、ワイもようやくPythonから Excelに降り始めるフェーズに入ってきた気がする。 pic.twitter.com/iqSgbbhobX 2022-09-06 08:11:05 naki @naki_mk 私のツール遍歴 新社会人「Excelの機能たくさん覚えて市場価値アップだ！まずはショートカットっと」 2年目「BIツール超便利じゃん…Excelとか必要なくね…ｽｸｼｮ貼ﾘ付ｹ-」 3年目「BIツールだけだと何かと不便…Python覚えるか…」 6年目「誰でも使えるように設計されてるExcelが便利すぎる…」 2022-08-19 09:58:41
-
CCC、Tポイントデータをオープン化 - 7000万人の会員データが利用可能に
CCCマーケティングとトレジャーデータは7月28日、CDP（Customer Data Platform）領域において業務提携を行い、同意取得済のT会員データ（Tポイントデータ）を、生活者のライフスタイルを基点とした情報プラットフォーム「CDP for LIFESTYLE Insights」として8月から提供を開始すると発表した。 2022年3月現在、名寄せをし重複を排除したT会員数は7025万人で、週間の利用者は2469万人、月間利用者は4175万人だという。この会員により、年間35億件以上の購買トランザクション、15万店舗のネットワークで扱われる60億種類の商品データ、数千項目からなる顧客DNAのペルソナデータ、 オフライン・オンライン上の移動・行動データやメディア接触データ、またCCCマーケティンググループオリジナルのエンハンスデータなとが得られ、データベースに蓄えられている。 20
-
Googleが中絶クリニックなどプライバシー性の高い場所への訪問情報をロケーション履歴から自動削除すると発表
GoogleはGoogleアカウントにログインしているモバイルデバイスを持って訪れた場所を、ロケーション履歴として保存します。これはGoogleマップを使用している際の位置情報だけでなく、スマートフォンを持って訪れた場所の情報も記録してしまうという問題があります。これを受け、Googleは中絶クリニックやドメスティックバイオレンス(DV)シェルター、減量クリニックなどのプライバシー性の高い場所への訪問情報を、今後数週間でユーザーのロケーション履歴から自動的に削除するよう仕様を変更すると発表しました。 Protecting people’s privacy on health topics https://blog.google/technology/safety-security/protecting-peoples-privacy-on-health-topics/ Google wil
-
-
図書館オープンデータを使って図書館データポータルサイトを作りました - Qiita
国立国会図書館では、さまざまなオープンデータが公開されています。 その中に「図書館及び関連組織のための国際標準識別子（ISIL）」試行版LODがあります。 これは、日本全国の図書館に関する情報が網羅的にまとめられているRDFデータとなります。 提供されているデータはXMLファイルなので個別にデータを取得するためにはプログラムなどで処理する必要があるので、Webブラウザで各データを見やすく提供するWebサイト「図書館施設データポータル」を作成しました。 ここでは、 図書館施設データポータル を紹介します。 図書館及び関連組織のための国際標準識別子（ISIL）」試行版LOD とは 元データは、「図書館及び関連組織のための国際標準識別子（ISIL）」という図書館等につけられる国際的な識別子で、国立国会図書館では、このISILが付与される図書館の情報をオープンデータ(XMLファイルのRDFデータ)
-
Appleの移動データを加工したらわかった東京の厳しい現実 - Qiita
こんにちは、Exploratoryの白戸です。 Appleは新型コロナウイルスの対策支援として、Appleマップでの経路検索をもとにした移動傾向のデータを公開しています。ところが、残念ながらこのデータはそのままでは簡単に可視化できるようなフォーマットになっておらず、ちょっとした加工を行う必要があります。 しかし逆に、加工の仕方さえわかってしまえばそれぞれの都市や地域の移動データを可視化することで、恐怖を煽るばかりのマスコミからは見えてこない現状を理解することができるようになります。 今回はこのAppleの移動傾向データを簡単に可視化できるようにするための基本的な加工方法を、みなさんと共有させていただければと思います。 データはこちらからダウンロードすることができます。 以下は「モダンでシンプルなUIを使ってデータサイエンスができる」Exploratoryを使って、「日本で最も自粛している都
-
-
公式Twitter
- @HatenaBookmark
リリース、障害情報などのサービスのお知らせ
- @hatebu
最新の人気エントリーの配信
キーボードショートカット一覧
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Copyright © 2005-2025 Hatena. All Rights Reserved.
設定を変更しました