Yahoo!Pipes 作成中

デフォルトでは、Google検索・Yahoo!サーチともに日本語での検索結果をRSSで受け取るpipeは用意されてないので作成中。

正規表現試しながらなのでペース遅いです。

いやはや、全文検索(自然言語処理)のPowerSetのPipesができてたのは焦り。



過程で参照しているサイトは下記にて。

・PipesからのRSSの作り方がわかりやすいフロー

・Yahoo!Pipesモジュール和訳一覧

・Fetch Pageの用法
・各モジュールとFetchPageの組み合わせ方

・Regrexでタイトル置き換え

・PipesからJSONPで出力(roopの使い方も)

・正規表現用法

Regrexモジュールのチェックボックスには言及が少ないので転載。

• gオプション：繰り返してマッチを行う
• sオプション：ワイルドカードのドット( . )が改行にもマッチするようにする
• mオプション：対象のパターンに改行が含まれていても、その改行にまたがってパターンを検索する
• iオプション：大文字と小文字を区別しないでマッチングする

以前の話し。。
Saerch&RSS経由で前述の検索結果を拾うPipeを作ってみたものの、返ってきたRSSのtitle,descriptionの文字化け問題が解決できず断念。。

今回は直接検索ページから抜き出したので文字化けはおそらく起きないはず(UTF-8で統一)。

Yahoo! Pipesで○○○

Yahoo!Pipesを使って、研究を進行中。。

日本語での取り扱い方URLはここ。

まとめはここ。

Pipes生成のとき、どうやって検索先のURLを指定するか、が”鍵”になるのでAsciiコード一覧も下記にてどうぞ。
http://homepage2.nifty.com/aggressive_ex/ascii.html



【以下進捗】

・入力値の文字化けとか問題かも。
→「URLの末尾の encode=UTF-8 とかが大事」と参考記事にあったり、一度"はてなRSS"経由で or "FeedBurner"で焼けば文字化け解消！とかあったのですが、、残念ながら解消されず。


ちなみに、今後修正する可能性もありますが、下記が該当RSSと文字化け状況。

Pipes の中身は、Google と Yahoo!のサーチエンジンの検索結果をRSSでまとめて取得しようとするものです。
いまのところ課題が山積みで実用に耐えない状況ですが、、。

http://feeds.feedburner.jp/search-jpn
















多分、Search&RSS なるサイトからRSS引っ張ってきているせいだと思う。

だので、Googleサーチ・Yahoo!サーチの両方別々に引っ張ってこようかと検討中。