
オブザーバビリティのAIエージェントをどう評価するか
オブザーバビリティ領域のAIエージェントは、出力の不定期性や多様性から評価が困難であり、従来のLLM評価手法では不十分です。そのため、人間が検証した多様なデータセット、タスク成功率などの適切なメトリクス、継続的評価ツール、挙動可視化、フィードバックを組み合わせた「評価ループ」の構築が不可欠となります。これにより、エージェントの性能を継続的に改善していくことが可能です。
674件中 20件を表示

オブザーバビリティ領域のAIエージェントは、出力の不定期性や多様性から評価が困難であり、従来のLLM評価手法では不十分です。そのため、人間が検証した多様なデータセット、タスク成功率などの適切なメトリクス、継続的評価ツール、挙動可視化、フィードバックを組み合わせた「評価ループ」の構築が不可欠となります。これにより、エージェントの性能を継続的に改善していくことが可能です。

Claude Codeのトークン使用量をMax 20xモデルで実測検証したところ、Python/Java/SQL/TypeScriptのコードは「Code」として認識されました。しかし、API料金表に記載の「CodeはTextの2倍」という重みではなく、実際は1.1倍〜1.2倍程度でカウントされることが判明。コードの種類による差は見られませんでした。これにより、Claude Codeの実際の課金は公式情報より低い可能性があることが示唆されました。
Playwright Workspacesは、`playwright.config.ts`で複数のテストプロジェクト(異なるブラウザ、プラットフォーム、デバイスなど)を定義し、並列実行する機能です。PC版・スマホ版、Chromium・Firefoxといった多様な環境ごとのテストを効率的に実行できます。これにより、テスト対象に応じたコード管理が可能となり、E2Eテストの実行時間短縮と網羅性向上に貢献します。

AWSは、Amazon BedrockでAnthropic Claude Opus 5.5、OpenAI GPT-6 SolおよびGPT-6 Lunaが利用可能になり、生成AI機能を強化しました。また、AIモデルの推論を最適化し、効率とパフォーマンスを向上させる新しいハーネス「AWS Strands」を発表。その他にも、AWS Step Functions、Amazon RDS、Amazon EC2など複数のサービスで新機能や改善が提供されました。
Proximoは日経電子版のUI/UX改善を支援しました。モバイル最適化を中心に、ユーザー動線分析やヒートマップ分析を行い、デザイン変更や機能追加を実施。その結果、月間アクティブユーザー数が23%増加し、ユーザーエンゲージメントや広告インプレッション数も向上しました。

Amazon Bedrockにおける「自動推論チェック」により、信頼性の高いAIシステムを構築するアプローチが解説されています。大規模言語モデル(LLM)を推論エンジンとして活用し、その出力の事実性、論理の一貫性、安全性を自動で検証。独立した評価用LLMがユーザープロンプトや根拠を解析することで、AIシステムの信頼性向上を実現します。

画像生成AIを活用してキャラクターのコンセプトを生成し、Blenderでゲーム用キャラクター素体を作成する挑戦を解説。AIによるデザインを基に、Blenderでのスカルプト、リトポロジー、UV展開、シンプルなリギングといった工程を実践的なワークフローとして記録しています。AIと3Dモデリングツールを組み合わせ、効率的にゲームキャラクターのベースモデルを制作するノウハウと工夫が紹介されています。
Google Workspaceが9月21日週に発表した主要なアップデートをまとめた。Google Meetでは通話のライブ翻訳、ブレイクアウトルームのタイマー、共同ホスト機能などを追加。Google Chatはスペース管理や特定メッセージへの返信機能を強化した。ドキュメント/スプレッドシート/スライドではスマートチップが拡張され、シートではGoogleマップ連携が可能に。その他、ドライブ、フォーム、Gmail、Jamboardでも新たな機能が提供された。

チーム内の議論やドキュメントが散在し、必要なナレッジ探索に課題があった。これを解決するため、Slackなどからチームの活動データを集約・構造化し、検索可能なナレッジベースを構築。このナレッジベースをLLMが活用することで、質問応答や要約に加え、複雑な設計レビューや新規企画提案といったタスクまでAIが実行可能になった。結果、情報探索コストが削減され、チーム全体の生産性向上と属人化解消に貢献している。

記事では、書籍『Explore It!』を通じ、テストにおける「探索」の重要性を解説しています。探索的テストは、既存のテストケースに縛られず、実行中に疑問、仮説、観察を繰り返しながら設計と実行を並行する手法です。探索できる人は、質問力、推論力、観察力などを駆使し、未知のバグや潜在的リスクを発見します。本書は、テストを「発見と学習の旅」と捉え、効率的な探索アプローチの習得が価値あると提唱します。
Googleは、Googleスライドのクライアントサイド暗号化(CSE)機能のベータ提供を開始しました。これにより、PowerPointプレゼンテーションファイルを直接CSEスライドに変換できるようになります。ユーザーは元のPowerPoint形式を維持したまま、機密性の高い資料をGoogleスライドでより安全に利用することが可能になります。
Google Cloud向けTerraformプロバイダーv8.0が一般提供を開始しました。GKEの自動アップグレード有効化など、安全で推奨されるデフォルト設定へ変更。Compute Engineインスタンスのデフォルトのサービスアカウントスコープが削除され、セキュリティが向上しました。その他、既存リソースの改善や新しいリソース・データソースの追加、一部古い機能のサポート終了が含まれています。
FlutterアプリからGoogle AI StudioのFoundation Modelを呼び出す最小構成を解説。`google_generative_ai`パッケージを用いてdotenvでAPIキーを管理し、Gemini-Proモデルとのテキスト生成(応答取得、ストリーミング)をコード例と共に示す。
AWSのNAT Gatewayの料金は、時間あたりの利用料金に加え、データ処理料金が主な要素です。データ処理料金は、NAT Gatewayを通過するデータ量(インバウンド・アウトバウンド両方)に対して発生し、特にアベイラビリティゾーンを跨ぐ通信も料金に関わります。S3やVPC Endpointなどを適切に利用することで、NAT Gatewayを介さない通信経路を確立し、データ処理料金の削減が可能です。
Claude 3のコード生成における拒否ルール遵守状況の最新検証記事。7つの回避ルールを設定した結果、最新版では、ファイルI/O、ネットワーク接続、現在時刻取得など環境に影響する4つの操作は引き続き拒否する一方、特定の文字列含包やosライブラリのインポートなど無害な3つのルールは回避せずコードを生成することが判明。拒否挙動の変化が示されました。
AWS Client VPNが、macOSの最新バージョン「27 Golden Gate」のサポートを開始しました。このアップデートにより、AWS Client VPNデスクトップクライアントは最新macOS環境に完全対応し、ユーザーはより安全で信頼性の高いVPN接続をスムーズに利用できるようになります。AWSリソースへのセキュアなアクセスが向上し、既存のClient VPNエンドポイント設定への影響はありません。macOSユーザーは、最新のOS環境で安心してVPN接続を確立できます。
Googleドキュメントが、Gemini Notebookのソースに基づくAI生成機能に対応しました。これにより、ユーザーはドキュメント内でAIを活用し、コンテンツの作成や編集を効率化できます。記述されたテキストやプロンプトからAIが文面を生成するため、アイデア出しや執筆作業の効率向上が期待されます。

PLAYは、AWS DevOps Agentを活用し、AIエージェントを組織構造に統合した全社共通のインシデント対応基盤を構築した。この基盤により、発生するインシデントに対してAIによる自動応答や情報集約が可能となり、対応プロセスを効率化・標準化。組織全体の運用負荷軽減とサービス信頼性の向上に貢献している。
社内AIツールの会話ログは、上司やAI提供元によって閲覧・永続保存される可能性があることを解説。ユーザーが「履歴を消去」しても、システム上に記録が残り続けるケースがあると指摘します。記録の残り方には主に5つのパターンがあり、利用企業はプライバシーや情報管理の観点から注意が必要だと述べています。
『LLMアプリケーション評価駆動開発』は、正解が一つでないLLMの出力の評価と改善手法を詳述する書籍。評価駆動開発(EDD)に基づき、具体的な評価フレームワーク、自動評価、RAGを含むアプリケーションの評価、人間による評価といった実践的ノウハウを提供する。LLM開発者が効率的な開発サイクルを確立し、出力品質を高めるための知見が網羅されている。
デジタル大臣に古川俊治氏が就任した報道は、デジタルガバメント、DX、クラウドインフラ分野における政府のデジタル化推進体制強化を明確に示す。これは企業にとって、政府主導のデジタル政策加速や制度設計、公共領域での新たなビジネス機会創出に繋がる可能性が高い。今後の動向が企業DX戦略に与える影響は大きく、注視が不可欠だ。
記事数
1
企業数
1
カテゴリ数
3