{"id":10874,"date":"2014-07-09T12:35:05","date_gmt":"2014-07-09T10:35:05","guid":{"rendered":"http:\/\/libraries-blog.tau.ac.il\/?p=10874"},"modified":"2019-06-21T02:43:43","modified_gmt":"2019-06-20T17:58:43","slug":"robot-txt-%d7%91%d7%9f-20-%d7%a9%d7%a0%d7%94-%e2%80%93-%d7%9b%d7%99%d7%a6%d7%93-%d7%9c%d7%94%d7%99%d7%9e%d7%a0%d7%a2-%d7%9e%d7%98%d7%a2%d7%95%d7%99%d7%95%d7%aa","status":"publish","type":"post","link":"https:\/\/libraries-blog.tau.ac.il\/?p=10874","title":{"rendered":"Robot.txt    \u05d1\u05df 20 \u05e9\u05e0\u05d4 \u2013 \u05db\u05d9\u05e6\u05d3 \u05dc\u05d4\u05d9\u05de\u05e0\u05e2 \u05de\u05d8\u05e2\u05d5\u05d9\u05d5\u05ea?"},"content":{"rendered":"<p><img loading=\"lazy\" decoding=\"async\" class=\"alignright wp-image-10876 size-full\" src=\"https:\/\/libraries-blog.tau.ac.il\/wp-content\/uploads\/2014\/07\/disallow3.gif\" alt=\"\" width=\"207\" height=\"93\" \/>\u05d1- 30 \u05d1\u05d9\u05d5\u05e0\u05d9\u00a0 2014 \u05de\u05dc\u05d0\u05d5 20 \u05e9\u05e0\u05d4 \u05dc- Robot.txt\u00a0 &#8211; <em>The Robots Exclusion Protocol<\/em> &#8211; \u05e7\u05d5\u05d1\u05e5 \u05e9\u05de\u05d0\u05e4\u05e9\u05e8 \u05dc\u05d1\u05e2\u05dc\u05d9 \u05d0\u05ea\u05e8\u05d9\u05dd \u05dc\u05d1\u05e7\u05e9 \u00a0\u05de\u05d4\u05e8\u05d5\u05d1\u05d5\u05d8\u05d9\u05dd \u05e9\u05dc \u05de\u05e0\u05d5\u05e2\u05d9 \u05d7\u05d9\u05e4\u05d5\u05e9 \u05dc\u05d0 \u05dc\u05e1\u05e8\u05d5\u05e7 \u05d7\u05dc\u05e7\u05d9\u05dd \u05de\u05e1\u05d5\u05d9\u05de\u05d9\u05dd \u05de\u05d4\u05d0\u05ea\u05e8 \u00a0\u00a0. \u05d4\u05e7\u05d5\u05d1\u05e5 \u05e0\u05d5\u05e6\u05e8 \u05d1\u05e9\u05e0\u05ea 1994 \u05d5\u05db\u05d5\u05dc \u05de\u05e0\u05d5\u05e2\u05d9 \u05d4\u05d7\u05d9\u05e4\u05d5\u05e9 \u05d4\u05d2\u05d3\u05d5\u05dc\u05d9\u05dd \u05de\u05d0\u05d6 \u05d5\u05e2\u05d3 \u05d4\u05d9\u05d5\u05dd \u05ea\u05d5\u05de\u05db\u05d9\u05dd , \u05de\u05db\u05d1\u05d3\u05d9\u05dd \u05d5\u05de\u05e6\u05d9\u05d9\u05ea\u05d9\u05dd \u05dc\u05d5.<\/p>\n<p>\u05d1\u05d0\u05d5\u05ea\u05d4 \u05e2\u05ea \u05d1\u05d4 \u05e0\u05d5\u05e6\u05e8 \u05d4\u05e7\u05d5\u05d1\u05e5 \u05e8\u05d5\u05d7\u05d1 \u05d4\u05e4\u05e1 \u05d4\u05d9\u05d4 \u05de\u05e6\u05d5\u05de\u05e6\u05dd \u05d9\u05d7\u05e1\u05d9\u05ea \u05dc\u05d4\u05d9\u05d5\u05dd \u05d5\u05e7\u05e8\u05d4 \u05dc\u05d0 \u05e4\u05e2\u05dd \u05e9\u05d4\u05e8\u05d5\u05d1\u05d5\u05d8\u05d9\u05dd \u05e9\u05dc \u05de\u05e0\u05d5\u05e2\u05d9 \u05d7\u05d9\u05e4\u05d5\u05e9 \u05e6\u05e8\u05db\u05d5 \u05d0\u05ea \u05db\u05d5\u05dc \u05e8\u05d5\u05d7\u05d1 \u05d4\u05e4\u05e1 \u05d5\u05d4\u05d0\u05ea\u05e8\u05d9\u05dd \u05e7\u05e8\u05e1\u05d5\u00a0 \u05db\u05ea\u05d5\u05e6\u05d0\u05d4 \u05de\u05db\u05da. \u05d4\u05e7\u05d5\u05d1\u05e5 \u05e0\u05d5\u05e6\u05e8 \u05d2\u05dd\u00a0 \u05db\u05d3\u05d9 \u05dc\u05de\u05e0\u05d5\u05e2 \u05de\u05e6\u05d1\u05d9\u05dd \u05db\u05d0\u05dc\u05d4 \u05d5\u05dc\u05d0\u05e4\u05e9\u05e8 \u05e9\u05d7\u05e8\u05d5\u05e8 \u05e9\u05dc \u05e8\u05d5\u05d7\u05d1 \u05e4\u05e1 \u05dc\u05de\u05e9\u05ea\u05de\u05e9\u05d9\u05dd.<\/p>\n<p>\u05d4\u05d9\u05d5\u05dd \u05d2\u05dd \u05d0\u05dd \u05de\u05e0\u05d5\u05e2\u05d9 \u05d7\u05d9\u05e4\u05d5\u05e9 \u05de\u05db\u05d1\u05d3\u05d9\u05dd \u05e4\u05e8\u05d5\u05d8\u05d5\u05e7\u05d5\u05dc \u05d6\u05d4 \u05e7\u05d9\u05d9\u05de\u05d9\u05dd \u05de\u05e6\u05d1\u05d9\u05dd \u05e9\u05d1\u05d4\u05dd \u05d2\u05dd \u05d3\u05e4\u05d9\u05dd \u05e9\u05e0\u05db\u05dc\u05dc\u05d5 \u05d1\u05e7\u05d5\u05d1\u05e5\u00a0 \u05d9\u05db\u05d5\u05dc\u05d9\u05dd \u05dc\u05d4\u05d5\u05e4\u05d9\u05e2 \u05d1\u05ea\u05d5\u05e6\u05d0\u05d5\u05ea \u05d4\u05d7\u05d9\u05e4\u05d5\u05e9 \u05e9\u05dc \u05de\u05e0\u05d5\u05e2\u05d9 \u05d7\u05d9\u05e4\u05d5\u05e9 \u05d1\u05e9\u05dc \u05d4\u05e2\u05d5\u05d1\u05d3\u05d4 \u05e9\u05d4\u05e1\u05e8\u05d9\u05e7\u05d4 \u05d5\u05d9\u05e6\u05d9\u05e8\u05ea \u05d4\u05d0\u05d9\u05e0\u05d3\u05e7\u05e1 \u05d4\u05dd \u05e9\u05e0\u05d9 \u05de\u05e0\u05d2\u05e0\u05d5\u05e0\u05d9\u05dd \u05e9\u05d5\u05e0\u05d9\u05dd.\u00a0 \u05e7\u05d9\u05d9\u05de\u05d9\u05dd \u05de\u05e6\u05d1\u05d9\u05dd \u05d0\u05d7\u05e8\u05d9\u05dd \u05e0\u05d5\u05e1\u05e4\u05d9\u05dd \u05e9\u05db\u05d3\u05d0\u05d9 \u05dc\u05d4\u05db\u05d9\u05e8\u05dd \u05db\u05d3\u05d9 \u05dc\u05d4\u05e9\u05ea\u05de\u05e9 \u05e0\u05db\u05d5\u05e0\u05d4 \u05d1\u05e7\u05d5\u05d1\u05e5 \u05e9\u05db\u05df \u05e9\u05d9\u05de\u05d5\u05e9 \u05dc\u05d0 \u05e0\u05db\u05d5\u05df \u05e2\u05dc\u05d5\u05dc \u05dc\u05e4\u05d2\u05d5\u05e2 \u05d1\u05e7\u05d9\u05d3\u05d5\u05dd \u05d4\u05d0\u05ea\u05e8.<\/p>\n<p>\u05e2\u05dc \u05de\u05e6\u05d1\u05d9\u05dd \u05d0\u05dc\u05d4 \u05d5\u05db\u05d9\u05e6\u05d3 \u05dc\u05d4\u05d9\u05de\u05e0\u05e2 \u05de\u05d8\u05e2\u05d9\u05d5\u05ea \u05e0\u05e4\u05d5\u05e6\u05d5\u05ea \u05d1\u05e9\u05d9\u05de\u05d5\u05e9\u00a0 \u05d1-Robot.txt \u05d0\u05e4\u05e9\u05e8 \u05dc\u05e7\u05e8\u05d5\u05d0 <a href=\"http:\/\/www.beussery.com\/blog\/index.php\/2014\/06\/robots-txt-disallow-20\">\u05d1\u05db\u05ea\u05d1\u05d4 \u05de\u05e2\u05e0\u05d9\u05d9\u05e0\u05ea \u05de- 29 \u05d1\u05d9\u05d5\u05e0\u05d9 2014.<\/a><\/p>\n","protected":false},"excerpt":{"rendered":"<p>\u05d1- 30 \u05d1\u05d9\u05d5\u05e0\u05d9\u00a0 2014 \u05de\u05dc\u05d0\u05d5 20 \u05e9\u05e0\u05d4 \u05dc- Robot.txt\u00a0 &#8211; The Robots Exclusion Protocol &#8211; \u05e7\u05d5\u05d1\u05e5 \u05e9\u05de\u05d0\u05e4\u05e9\u05e8 \u05dc\u05d1\u05e2\u05dc\u05d9 \u05d0\u05ea\u05e8\u05d9\u05dd \u05dc\u05d1\u05e7\u05e9 \u00a0\u05de\u05d4\u05e8\u05d5\u05d1\u05d5\u05d8\u05d9\u05dd \u05e9\u05dc \u05de\u05e0\u05d5\u05e2\u05d9 \u05d7\u05d9\u05e4\u05d5\u05e9 \u05dc\u05d0 \u05dc\u05e1\u05e8\u05d5\u05e7 \u05d7\u05dc\u05e7\u05d9\u05dd \u05de\u05e1\u05d5\u05d9\u05de\u05d9\u05dd \u05de\u05d4\u05d0\u05ea\u05e8 \u00a0\u00a0. \u05d4\u05e7\u05d5\u05d1\u05e5 \u05e0\u05d5\u05e6\u05e8 \u05d1\u05e9\u05e0\u05ea 1994 \u05d5\u05db\u05d5\u05dc \u05de\u05e0\u05d5\u05e2\u05d9 \u05d4\u05d7\u05d9\u05e4\u05d5\u05e9 \u05d4\u05d2\u05d3\u05d5\u05dc\u05d9\u05dd \u05de\u05d0\u05d6 \u05d5\u05e2\u05d3 &hellip; <a href=\"https:\/\/libraries-blog.tau.ac.il\/?p=10874\">\u05dc\u05d4\u05de\u05e9\u05d9\u05da \u05dc\u05e7\u05e8\u05d5\u05d0 <span class=\"meta-nav\">&larr;<\/span><\/a><\/p>\n","protected":false},"author":2,"featured_media":0,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[10],"tags":[],"class_list":["post-10874","post","type-post","status-publish","format-standard","hentry","category-10"],"_links":{"self":[{"href":"https:\/\/libraries-blog.tau.ac.il\/index.php?rest_route=\/wp\/v2\/posts\/10874","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/libraries-blog.tau.ac.il\/index.php?rest_route=\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/libraries-blog.tau.ac.il\/index.php?rest_route=\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/libraries-blog.tau.ac.il\/index.php?rest_route=\/wp\/v2\/users\/2"}],"replies":[{"embeddable":true,"href":"https:\/\/libraries-blog.tau.ac.il\/index.php?rest_route=%2Fwp%2Fv2%2Fcomments&post=10874"}],"version-history":[{"count":5,"href":"https:\/\/libraries-blog.tau.ac.il\/index.php?rest_route=\/wp\/v2\/posts\/10874\/revisions"}],"predecessor-version":[{"id":14495,"href":"https:\/\/libraries-blog.tau.ac.il\/index.php?rest_route=\/wp\/v2\/posts\/10874\/revisions\/14495"}],"wp:attachment":[{"href":"https:\/\/libraries-blog.tau.ac.il\/index.php?rest_route=%2Fwp%2Fv2%2Fmedia&parent=10874"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/libraries-blog.tau.ac.il\/index.php?rest_route=%2Fwp%2Fv2%2Fcategories&post=10874"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/libraries-blog.tau.ac.il\/index.php?rest_route=%2Fwp%2Fv2%2Ftags&post=10874"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}