ラベル yahoo の投稿を表示しています。 すべての投稿を表示
ラベル yahoo の投稿を表示しています。 すべての投稿を表示

2008年5月31日土曜日

Yahoo!Pipes 制作物(Google/Yahoo!検索Pipe)

TopPageの検索結果だけ対象ですが、日本語版Google検索PipeとYahoo!検索Pipeを作りました。
(デフォルトでは英語版しか用意されてない & 翻訳Pipeでは結果に違和感あったので‥)


【特徴】

・検索結果TopページのデータをRSSで出力可能

・キーワードは任意でURLへ入れて使う
(自分の場合はWebアプリに仕込むので、検索結果RSSの各URLにキーワードクエリを渡して、配列にして取ってきます。)

・「keywords で検索対象のキーワードを指定する」

・「input number で表示したい検索結果件数を指定する」


※気まぐれで500Errorが出ることも。。

  • Google検索
    (元データはhtmlなので、FetchPageモジュールで検索結果を抽出&Regexpで不要なmetatag列を削除&RenameモジュールでRSS化)

    http://pipes.yahoo.com/pipes/pipe.run?_id=f1c7d25931aaa47ad6e59f6683656e38&_render=rss&keywords=(キーワード)&numberinput=(表示件数)

    例:SQL


  • Yahoo!検索
    (元データは検索WebServiceのXMLなので、不要なmetatagをRegexpで除去してからFetchDataでRSS加工)

    http://pipes.yahoo.com/pipes/pipe.run?_id=kg4GW_QH3RGc0zDMiXrL0A&_render=rss&keywords=(キーワード)&numberinput=(表示件数)

    例:SQL

  • これは拝借物ですが、PowerSet検索
    (Pipe制作する上でとても参考になります)

    http://pipes.yahoo.com/pipes/pipe.run?_id=5d07e2ff70a3612039b9188e6394439d&_render=rss&text=(キーセンテンス/英語質問文)

    例:What is SQL?


Topページ(検索結果1ページ目/1~10件)だけでなく11件目以降をRSSで取るには、新たに別のPipeを追加しないといけないところが難点なので解決を図ります。

とりあえずこれでYahoo!Pipesを情報収集ハブとして使う目途が立ってきました。。


(追記@2008/06/01)

Yahoo!Pipesで作成してあるPipeで「Input nymber で表示したい検索結果件数を指定する」機能を追加しました。(デフォルトでは50件表示に)

この延長で「検索対象の言語指定」、「URLに検索キーワードが含まれているかどうか選択」など機能追加できます。

具体的にはRSSを出力するURLをYahoo!Pipesで生成するだけでOK。
参照サイト→WebOSGoodies


(追記@2008/06/07)

PowerSet のPipeが使えなくなってました。。
考えられるのは、、サイトデザイン変更に伴うPageFetchに失敗したとか…?

自力で作成しようと検討中。


→作りました。(@2008/06/08)
Babelfish モジュールで「英→日」変換は一発です。

翻訳の精度はGoogle翻訳APIと比較してみたいかも。。

2008年3月17日月曜日

Yahoo! Pipesで○○○

Yahoo!Pipesを使って、研究を進行中。。

日本語での取り扱い方URLはここ

まとめはここ

Pipes生成のとき、どうやって検索先のURLを指定するか、が”鍵”になるのでAsciiコード一覧も下記にてどうぞ。
http://homepage2.nifty.com/aggressive_ex/ascii.html



【以下進捗】

・入力値の文字化けとか問題かも。
→「URLの末尾の encode=UTF-8 とかが大事」と参考記事にあったり、一度"はてなRSS"経由で or "FeedBurner"で焼けば文字化け解消!とかあったのですが、、残念ながら解消されず。


ちなみに、今後修正する可能性もありますが、下記が該当RSSと文字化け状況。

Pipes の中身は、Google と Yahoo!のサーチエンジンの検索結果をRSSでまとめて取得しようとするものです。
いまのところ課題が山積みで実用に耐えない状況ですが、、。

http://feeds.feedburner.jp/search-jpn
















多分、Search&RSS なるサイトからRSS引っ張ってきているせいだと思う。

だので、Googleサーチ・Yahoo!サーチの両方別々に引っ張ってこようかと検討中。

Blogger Syntax Highliter