GPTは、人間が使う会話や文章に出てくる単語の確率の組み合わせから次の単語の確率を計算する言語モデルだ。 例えば、「確率（吾輩は猫である）＝確率（吾輩）×確率（は|吾輩）×確率（猫|吾輩,は）×確率（で|吾輩,は,猫）×確率（ある|吾輩,は,猫,で）」のような方法で計算する。この性質を用いて、「吾輩は」という単語を入力したとき、次の単語として確率が高い「猫」を予測できる。 性能は14パープレキシティー 関連記事 2021年の「AI／機械学習」はこうなる！ 5大予測 2020年は、自然言語処理（NLP）のTransformer技術に基づくBERT／GPT-3や、画像生成のディープフェイクが大注目となる一方で、倫理に関する問題がさまざまな方面でくすぶり続けた。2021年の「AI／機械学習」界わいはどう変わっていくのか？ 幾つかの情報源を参考に、5個の予測を行う。 Microsoft、自然言語処
Japanese subtitles were first made available on the Netflix service as a part of the Japanese launch in September 2015. This blog post provides a technical description of the work we did leading up to this launch. We cover topics including our specification for source subtitle files, the transformation model from source subtitle files to those deliverable on the Netflix service, the model for deli
昨年12月発売の『三省堂国語辞典』第7版に「的を得る」が採録されました。これで「的を得る」を誤用とする説が俗説であるとほぼ確定したといえる重要な事件ですので、遅ればせながら記事を上げます。 （といっても先日頂いたコメントに付けた返信の焼き直しですが） 当ブログには2012年2月に書いて、当時、私自身その内容に確信が持てなかったために公開していない記事があるのですが、それは「的を得る」を誤用とした「国語辞典」の調査をしたものでした。 調査でわかったのは、以下に示すとおり、1982年から1997年まで15年間「的を得る」を誤用とした「国語辞典」は『三省堂国語辞典』のみだったということです。（1982年以前に誤用説を載せている辞書はありませんし、現在でも「的を得る」を誤用と載せている「国語辞典」は実は少数派です） －－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－
What is Open JTalk? Open JTalk is a Japanese text-to-speech system. This software is released under the Modified BSD license. Getting Open JTalk Open JTalk version 1.11 (25 December, 2018) NEW! The Japanese text-to-speech system. It works in Linux machines. Documentation Source Code Dictionary for Open JTalk version 1.11 (25 December, 2018) NEW! If you cannot compile dictionary, you can use compil
あなたは他の単語を用いたいと思うかもしれません。下のサンプルのようにそれらを用いて翻訳調の雰囲気を表現することは可能です。 「俺もクソ野郎だがお前はもっとクソ野郎だ。」 という一文は非常にアメリカ的です。この例はハリウッド翻訳調と呼ばれる英文翻訳調の変形です。しかしながらこうした変形はあまり一般的ではありません。なぜならこれらは非常に応用的で難解な理論を必要とし、また英文翻訳調の変種の多くは口語的であるためです。 2-4:文末の「です／ます」調への統一 あなたは日本語の文書を書く多くの場合にその文末に２つの選択肢を考えるでしょう。一つは「です／ます」調で、もう一つは「だ／である」調です。英文翻訳調はあなたが文末を「です／ます」に統一することを推奨します。あなたが英文翻訳調を用いる多くの場合であなたに必要なことは読み手に通告することでなく納得させることです。こうした目的でより丁寧な方を用いる
はじめに この文書は、 Steven Bird, Ewan Klein, Edward Loper 著 萩原 正人、中山 敬広、水野 貴明 訳 『入門 自然言語処理』 O'Reilly Japan, 2010. の第12章「Python による日本語自然言語処理」を、原書 Natural Language Processing with Python と同じ Creative Commons Attribution Noncommercial No Derivative Works 3.0 US License の下で公開するものです。 原書では主に英語を対象とした自然言語処理を取り扱っています。内容や考え方の多くは言語に依存しないものではありますが、単語の分かち書きをしない点や統語構造等の違いから、日本語を対象とする場合、いくつか気をつけなければいけない点があります。日本語を扱う場合にも
Google CGI API for Japanese Input Google CGI API for Japanese Input は、日本語変換をインターネット上で実現するための、CGI サービスです。 リクエスト http://www.google.com/transliterate に対して HTTP リクエストを発行します。GET メソッドを使ってください。以下の CGI パラメータを (URL エンコードした上で) 指定します。 langpair=ja-Hira|ja text=(変換したいひらがな列) text のひらがな列は UTF-8 でエンコードします。例えば、「へんかん」をリクエストする場合は、 http://www.google.com/transliterate?langpair=ja-Hira|ja&text=%E3%81%B8%E3%82%93%E3%81
私たちはソフトウェア開発を実践あるいは実践の手助けをする ことによって、よりよい開発方法を見つけだそうとしている。 この活動を通して、私たちは以下の価値に至った。 プロセスとツールよりも個人と対話に。 包括的なドキュメントよりも動くソフトウェアに。 契約交渉よりも顧客との協調に。 計画に従うことよりも変化への対応に。 すなわち、左側に書かれたことがらに価値をおきながらも、 私たちは右側に書かれたことがらにより価値をおく。 Kent Beck Mike Beedle Arie van Bennekum Alistair Cockburn Ward Cunningham Martin Fowler
「形容詞 + です」 は誤用ではない 変な日本語(1) 「危ないですから」-九十九式 電車に乗っていると、ホームでこんなアナウンスがよく流れてくる。 「3番線に電車がまいります。危ないですから、黄色い線の内側にお下がりください」 僕はこれを聞くたびに、強烈な違和感を覚える。電車には毎日乗るので、この襲い来る違和感と戦うだけで会社に着く頃にはヘトヘトになってしまう。 言うまでもなく、「危ない」という形容詞に直接「です」を付けるのは誤用だ。 変な日本語(1) 「危ないですから」-九十九式 「危ないです」 のように、「形容詞 + です」 という表現は、文法的に間違った用法ではない。上記リンク先の主張の根拠として、以下の MSN 相談箱の回答欄が引用されているが、これに至ってははっきり 《間違い》 といって良いだろう。 昭和27年の国語審議会で「形容詞＋です」表現を「許容する」としたときから、日本
ヤフーは4日、インターネット関連の開発者向けに同社が提供する一部のサービスやデータベースへのアクセスを無料で公開するサービス「Yahoo!デベロッパーネットワーク」において、『キーフレーズ抽出Web API』を公開したと発表した。 ヤフーでは、オープン化戦略の一環として、「Yahoo!デベロッパーネットワーク」において、一部のサービスやプラットフォームのAPI開放を進めているが、この中でも「日本語処理技術の公開についても注力している」(ヤフー)。 今回公開された『キーフレーズ抽出Web API』は、日本語のテキストを解析して特徴的な表現を抽出する機能を提供。これを利用すると、例えばブログの文章から話題となっているフレーズを抽出したり、キーフレーズの組み合わせで作成した検索式を使って、関連性の高いドキュメントを検索するアプリケーションを開発することができる。 用途としてはほかにも、ニュースな
OAuth Core 1.0 仕様 日本語訳 概要 OAuth プロトコルを使うと、ウェブサイトやアプリケーション（コンシューマ）が、 API経由でウェブサービス（サービスプロバイダ）にある保護されたりソース（情報）にアクセスできるようになります。 またこの際に、ユーザがサービスプロバイダに提出している認証情報（credential）をコンシューマに明かすことなく、 アクセスできるようにします。 平たく言うと、OAuthはAPI認証におけるフリーで汎用的な手法を提供します。 例を挙げるとすると、photos.example.net におけるユーザの認証情報（Credential）を明かすことなく、 印刷サービスサイト printer.example.com （コンシューマ）が photos.example.net（サービスプロバイダ）に保存されている写真にアクセスできるようにする、 といっ
ヤフー株式会社は、2023年10月1日にLINEヤフー株式会社になりました。LINEヤフー株式会社の新しいブログはこちらです。LINEヤフー Tech Blog テキスト解析API企画担当のS・Kです。 当ブログにおいて一般の開発者の皆様にYahoo! JAPANの高度な日本語処理技術をマッシュアップにお役立ていただけるよう、なじみの薄い日本語処理用語の解説や一般的なご利用方法をお伝えしていきたいと思います。 先日、弊社も協力企業として参加しましたMashup Award4において、Technology賞を受賞され注目を集めました「Newsgraphy」様にも日本語形態素解析APIをご利用いただいております。 そもそも、形態素解析とは、、 言語として意味を成す最小単位の文字列のことを「形態素」と呼び、ある文章をその形態素に分けていく解析のことを「形態素解析」と呼びます。 うーん、なんだか難
This book is work in progress, your help is requested @ github この本はまだ執筆中です。協力いただけるなら github まで。 Life On The Edge With Merb, DataMapper & RSpec Foreword (前書き) (TODO) the foreword Preface (序文) This is a collaborative effort to document the features of Merb and DataMapper, while also providing example Merb applications. これは、Merb と DataMapper の機能をドキュメント化しようという、協力的な取り組みです。 また Merb アプリケーションのサンプルも提供します
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
